草庐IT

3D手眼标定1（原理）

木子*泓泽 2025-06-21 原文

3D Vision Roboot Eye-to-hand Calibration
说明： 3D视觉机器人是配备有3D视觉相机的机械臂，能够观测场景的3D信息，以3D点云的形式交给机械臂，可以用于物体抓取、无序分拣、装配、打磨等工作。手眼标定是3D视觉机器人的前导工作，其意义是将场景信息从相机变换至机械臂坐标系中，其目标是获得相机到机械臂基座的空间变换矩阵

一、标定方法分为三步：

二、 眼在手外示意图：

三、眼在手外的特点和目标

特点：
相机被固定在场地上，机械臂的基座也同样被固定在场地上，则可得出相机与机械臂的基座在空间变换上是固定的，或者说是没有想对空间变换的。

四、标定步骤

第一步、获得标定板到相机的空间变换矩阵

第二步：计算相机到机械臂基座的空间变换矩阵：

第三步：进度提升的方法

说明：手眼标定的精度是3D视觉机器人的重要和基础指标，直接影响后续工作的展开。手眼标定的精度与拍照数量、机械臂姿态的丰富程度等因素有关，考虑有限的样本容量，手眼标定的精度往往不会很高。为了提升标定精度，本工作在手眼标定完成后，使用了ICP(Iterative
Closest Points)方法。实验中，这套方法将定位精度从10mm量级提升至1mm量级

4.3.1、方法：使用ICP

ICP（Iterative Closest Point，迭代最近点）算法一种迭代计算方法，主要用于计算机视觉中深度图像的精确拼合，通过不断迭代最小化源数据与目标数据对应点来实现精确地拼合。已经有很多变种，主要热点是怎样高效、鲁棒的获得较好地拼合效果

4.3.2、原理：

在机械臂的基坐标系下，机械臂的基坐标系和3D相机的坐标系是一个刚体变换的关系,他们之间没有缩放存在，即他们不是彷射变换；我们的所有标定，其实就是来求解此空间变换矩阵（AX=XB）

4.3.3、方案二：

我只要知道在相机坐标系下若干点的坐标，然后知道在机械臂基坐标系下若干点的坐标，那么我们可以通过这两组坐标来使用求解空间变换的方法，获得这个空间变换。
我们常用的方法包括ICP: Iterative Closest Point，可以用求得的空间变换矩阵前提下，为需要两套场景点和模板点，他们之间的空间变换关系一定是刚体变换：Rigid Transformation，
P1-P2，可以用ICP求解

4.3.4.1、思考1：第一步和第二步为什么不用ICP？

ICP有初始值的限制：P1\P2这两套点之间的空间变换一定要比较小，换句话说ICP对迭代初值非常敏感，如果初值P1和P2空间变换比较大，那么ICP可能会收敛至一个局部最优解，而非曾解，导致求解失败；这就是为什么在第一步和第二步时不使用ICP。

4.3.4.2、思考2：那么为什么在第三步又使用ICP呢？

因为我们经历过第一步，第二步之后，我们已经得到了一个空间变换矩阵，这个空间变换矩阵虽然它有误差，但是它已经接近增值了，这时候就可以作为我们ICP计算的一个初值来使用，这就是最初的动机。

4.3.5、场景示意图

4.3.6、机械臂基座标下的坐标采集方法：

在机械臂末端法兰上安装一个已知尺寸的探针，然后用探针触碰每一个交点，那么机器人的示教器上就会显示工具端所在的位置，在机械臂基座标系下的位置

此时我们获得了同一个交点在相机和在基座标系下的坐标

五、扩展

眼在手上标定的是相机和机械臂末端的位置关系，我理解的步骤如下：
第一步，固定标点板；
第二步，先用相机获取标定板角点在相机坐标系下的三维坐标，这个和眼在手外的操作一样；
第三步，记录上一步机械臂末端的位置信息(包括【x,y,z,rx,ry,rz】6维信息)；
第四步，用机械臂末端的尖端去获取标定板角点在机械臂基地坐标系的坐标；
第五步，利用第三步获取的位置信息把第二步获取的坐标转化成机械臂末端坐标系下的坐标（眼在手外不需要这步）；
第六步，利用第五步获取的坐标和第二步获取的坐标进行ICP计算，即可得到相机与机械臂末端位置关系描述旋转、平移矩阵。

手眼原理xffxff0cxff03D手眼标定眼在手外

有关3D手眼标定1（原理）的更多相关文章

  1. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  2. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  3. Unity 3D 制作开关门动画,旋转门制作,推拉门制作,门把手动画制作 - 2

    Unity自动旋转动画1.开门需要门把手先动,门再动2.关门需要门先动,门把手再动3.中途播放过程中不可以再次进行操作觉得太复杂?查看我的文章开关门简易进阶版效果:如果这个门可以直接打开的话,就不需要放置"门把手"如果门把手还有钥匙需要旋转,那就可以把钥匙放在门把手的"门把手",理论上是可以无限套娃的可调整参数有:角度,反向,轴向,速度运行时点击Test进行测试自己写的代码比较垃圾,命名与结构比较拉,高手轻点喷,新手有类似的需求可以拿去做参考上代码usingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;u

  4. [Vuforia]二.3D物体识别 - 2

    之前说过10之后的版本没有3dScan了，所以还是9.8的版本或者之前更早的版本。 3d物体扫描需要先下载扫描的APK进行扫面。首先要在手机上装一个扫描程序，扫描现实中的三维物体，然后上传高通官网，在下载成UnityPackage类型让Unity能够使用这个扫描程序可以从高通官网上进行下载，是一个安卓程序。点到Tools往下滑，找到VuforiaObjectScanner下载后解压数据线连接手机，将apk文件拷入手机安装然后刚才解压文件中的Media文件夹打开，两个PDF图打印第一张A4-ObjectScanningTarget.pdf，主要是用来辅助扫描的。好了，接下来就是扫描三维物体。将瓶

  5. python - Ruby 或 Python 的 3d 游戏引擎？ - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于StackOverflow来说是偏离主题的，因为它们往往会吸引自以为是的答案和垃圾邮件。相反，describetheproblem以及迄今为止为解决该问题所做的工作。关闭9年前。Improvethisquestion是否有适用于这些的3d游戏引擎？

  6. 【自动驾驶环境感知项目】——基于Paddle3D的点云障碍物检测 - 2

    文章目录1.自动驾驶实战：基于Paddle3D的点云障碍物检测1.1环境信息1.2准备点云数据1.3安装Paddle3D1.4模型训练1.5模型评估1.6模型导出1.7模型部署效果附录show_lidar_pred_on_image.py1.自动驾驶实战：基于Paddle3D的点云障碍物检测项目地址——自动驾驶实战：基于Paddle3D的点云障碍物检测课程地址——自动驾驶感知系统揭秘1.1环境信息硬件信息CPU:2核AI加速卡:v100总显存:16GB总内存:16GB总硬盘:100GB环境配置Python:3.7.4框架信息框架版本:PaddlePaddle2.4.0（项目默认框架版本为2.3

  7. 【Unity游戏破解】外挂原理分析 - 2

    文章目录认识unity打包目录结构游戏逆向流程Unity游戏攻击面可被攻击原因mono的打包建议方案锁血飞天无限金币攻击力翻倍以上统称内存挂透视自瞄压枪瞬移内购破解Unity游戏防御开发时注意数据安全接入第三方反作弊系统外挂检测思路狠人自爆实战查看目录结构用il2cppdumper例子2-森林whoishe后记认识unity打包目录结构dll一般很大，因为里面是所有的游戏功能编译成的二进制码游戏逆向流程开发人员代码被编译打包到GameAssembly.dll中使用il2ppDumper工具，并借助游戏名_Data\il2cpp_data\Metadata\global-metadata.dat

  8. Slowloris DoS攻击的原理与简单实现 - 2

    前言    Slowloris攻击是我在李华峰老师的书——《MetasploitWeb 渗透测试实战》里面看的，感觉既简单又使用，现在这种攻击是很容易被防护的啦。不过我也不敢真刀实战的去试，只是拿个靶机玩玩罢了。         废话还是写在结语里面吧。（划掉）结语可以不看（划掉）Slowloris攻击的原理        Slowloris是一种资源消耗类DoS攻击，它利用部分HTTP请求进行操作。也叫做慢速攻击，这里的慢速并不是说发动攻击慢，而是访问一条链接的速度慢。Slowloris攻击的功能是打开与目标Web服务器的连接，然后尽可能长时间的保持这些连接打开。如果由多台电脑同时发起Slo

  9. Unity3D : 本地坐标系，世界坐标系，和TransformPoint，TransformVector，TransformDirection的区别 - 2

    目录一、世界坐标系与本地坐标系二、srcGameObject.transform.TransformPoint(Vector3 vec)三、srcGameObject.transform.TransformVector(Vector3 vec)四、srcGameObject.transform.TransformDirection(Vector3 vec)五:示例一、世界坐标系与本地坐标系    世界坐标很好理解，就是模型的transform.position，通常在无父物体的情况下，创建出来的模型默认位置就是世界坐标系的原点。    每个物体都有自身的坐标系，此坐标系就是本地坐标系。本地坐标

  10. [蓝桥杯单片机]学习笔记——串口通信的基本原理与应用 - 2

    目录一、原理部分1、什么是串行通信（1）并行通信与串行通信（2）串行通信的制式（3）串行通信的主要方式  2、配置串口（1）SCON和PCON：串行口1的控制寄存器（2）SBUF：串行口数据缓冲寄存器 （3）AUXR：辅助寄存器​编辑（4）ES、PS：与串行口1中断相关的寄存器（5）波特率设置  3、串口框架编写二、程序案例一、原理部分1、什么是串行通信（1）并行通信与串行通信微控制器与外部设备的数据通信，根据连线结构和传送方式的不同，可以分为两种：并行通信和串行通信。并行通信：数据的各位同时发送与接收，每个数据位使用一条导线，这种方式传输快，但是需要多条导线进行信号传输。串行通信：数据一位一

随机推荐