草庐IT

遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定

遨博学院 2023-04-13 原文

目录

一、简介

二、环境版本

三、学习目标

四、知识储备

五、任务实施

六、任务拓展

七、课堂小结

八、课后练习


一、简介

大家好,欢迎关注遨博学院带来的系列技术分享文章(协作机器人ROS开发),在前面课程中我们讲解了机器人手眼标定原理相关知识,接下来我们来学习遨博E5机械臂与相机手眼标定。

遨博E5机械臂与相机手眼标定

二、环境版本

  • 主机系统版本:Windwos10 64位
  • 处理器型号:Intel-i7
  • 虚拟机版本:VMware Workstation 16 Pro
  • 虚拟机系统:Ubuntu 18.04.6 LTS
  • ROS版本:Melodic

三、学习目标

四、知识储备

下面开始介绍本节内容的知识点:

首先学习相机标定板的分类及特点。

标定本质上是借助一个已知确定的空间关系(标定板),通过分析拍照的图片像素,逆向推出相机固有且真实的参数(内参)。标定板一般使用平面上的规则图案,主要由以下几种类型:棋盘格、对称圆形及非对称圆形网格、ArUco板和ChArUco板等。

(1)棋盘格chessboard,最常用的标定图案。

(2)圆形网格

(3)ArUco  

 (4)ChArUco

2.标定方式

五、任务实施

本课程采用眼在手上的方式进行手眼标定,使用的工具为MoveIt! Calibration。

1.标定前硬件准备

双目相机法兰盘固定。法兰盘机械臂末端固定。将ChArUco标定板按100%比例A4纸打印。

2.标定工具包编译

 3.连接遨博E5机械臂和双目相机

 

4.手眼标定

按下示教器上的力控按钮,手动拖拽机械臂使相机视野能够照射到标定板。

(1)启动相机标定节点程序(robot_ip修改为实际机械臂IP地址)

(2)标定组件Target选项卡配置  

 在Target选项卡的Target Params部分,我们将使用默认的目标参数,标定板类型Target Type选择【HandEyeTarget/Charuco】,其他下列参数如图所示。

点击右侧的【Create Target】按钮生成标定板图像,之后点击【Save Target】按钮将其保存为图片文件,并通过A4纸(100%比例)打印。  

(3)上下文配置

点击【Context】第二个选项卡,里面包含进行标定校准所需的几何信息。将【Sensor configuration】设置为“Eye-in-hand”。

【Sensor frame】选择为相机基坐标系“camera_link”。

【Object frame】是校准目标定义的坐标系,默认称为“handeye_target”。

【End-effector frame】是刚性连接到相机的机器人连杆,选择为“wrist3_Link”。

【Robot base frame】是校准目标静止的坐标系,选择为“base_link”。

 

(4)添加相机视野(FOV)组件

在RViz中添加【MarkerArray】组件,并将其设置为监听“/rviz_visual_tools”主题(它可能不会立即出现)。

 

 添加完成后,点开左上方HandEyeCalibration,找到下方的【Camera FOV Marker】将右侧“ON/OFF”选项取消选中后在次点击选中,会在机械臂模型窗口观察到相机视野。

(5)捕获校准数据集

【Calibrate】选项卡提供了收集数据集以及计算和导出校准的工具。

在“AX=XB 求解器”下拉列表中选择要使用的校准求解器。默认为Daniilidis求解器(在大多数情况下都是不错的选择)。

【Planning Group】为被记录的机械臂关节组。

 

当标定板在相机视野中可见,并且坐标轴在标定板上呈现时,就可以开始进行第一个校准样本采集。

(6)保存关节记录数据

当手动采样时,会记录机器人关节状态,以便将来可以再次使用相同的位姿进行重新标定。记录状态的数量显示在面板底部进度条的右侧,可以使用【Settings】部分中的【Save joint states】按钮将状态保存到文件中。

 

(7)计算并保存标定结果

收集多个样本后,将自动执行标定,并在每次添加新样本时更新。标定会随着更多的样本而显著改善,并且通常会在大约12或15个样本后趋于平稳。点击【Save camera pose】导出校准结果。

 

这将创建一个带有静态变换发布者的launch文件,其中包含校准后的相机变换。打开该标定launch文件,内容大致如下。

六、任务拓展

将相机独立于机器人固定至支架上,使用MoveIt!标定工具进行眼在手外标定。

 

七、课堂小结

1.在Ubuntu18.04系统下使用的OpenCV版本为3.2,其中的ArUco库有Bug,建议不要使用ArUco类型的标定板进行标定。

2.标定过程中需保证标定板位置固定不动,且相机视野能够检测到标定板上的坐标轴,否则会引入异常点,导致整体标定误差增大。

八、课后练习

1.使用RealSense双目相机固定至遨博E5机械臂末端,进行手眼标定。

2.获取贴有ArUco码物体相对机械臂基座的位姿转换数据,测试标定参数精度。

在接下来的ROS课程中,我们会讲解遨博E5机械臂语音交互控制,欢迎持续关注。 

有关遨博协作机器人ROS开发 - 遨博E5机械臂与相机手眼标定的更多相关文章

  1. ruby - 使用 C 扩展开发 ruby​​gem 时,如何使用 Rspec 在本地进行测试? - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时,我会遵循TDD的过程,我会写一个失败的规范,然后处理代码直到它通过,等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb,如何运行我的规范并仍然加载我的C扩展?当我更改C代码时,我需要采取哪些步骤来重新编译代码?这可能是个愚蠢的问题,但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时,我确实得到了一个Makefile(在整个项目的根目录中),然后当

  2. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序,它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择,是开发还是生产,一些方法的逻辑应该改变,这取决于部署类型。是否有任何想法,如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现? 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  3. ruby - 是否可以覆盖 gemfile 进行本地开发? - 2

    我们的git存储库中目前有一个Gemfile。但是,有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它,我必须将它添加到我们的Gemfile中,但每次我checkout到我们的master/dev主分支时,由于与跟踪的gemfile冲突,我必须删除它。我想要的是类似Gemfile.local的东西,它将继承从Gemfile导入的gems,但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗? 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  4. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  5. ruby-on-rails - 在 Rails 开发环境中为 .ogv 文件设置 Mime 类型 - 2

    我正在玩HTML5视频并且在ERB中有以下片段:mp4视频从在我的开发环境中运行的服务器很好地流式传输到chrome。然而firefox显示带有海报图像的视频播放器,但带有一个大X。问题似乎是mongrel不确定ogv扩展的mime类型,并且只返回text/plain,如curl所示:$curl-Ihttp://0.0.0.0:3000/pr6.ogvHTTP/1.1200OKConnection:closeDate:Mon,19Apr201012:33:50GMTLast-Modified:Sun,18Apr201012:46:07GMTContent-Type:text/plain

  6. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  7. 【鸿蒙应用开发系列】- 获取系统设备信息以及版本API兼容调用方式 - 2

    在应用开发中,有时候我们需要获取系统的设备信息,用于数据上报和行为分析。那在鸿蒙系统中,我们应该怎么去获取设备的系统信息呢,比如说获取手机的系统版本号、手机的制造商、手机型号等数据。1、获取方式这里分为两种情况,一种是设备信息的获取,一种是系统信息的获取。1.1、获取设备信息获取设备信息,鸿蒙的SDK包为我们提供了DeviceInfo类,通过该类的一些静态方法,可以获取设备信息,DeviceInfo类的包路径为:ohos.system.DeviceInfo.具体的方法如下:ModifierandTypeMethodDescriptionstatic StringgetAbiList​()Obt

  8. 微信小程序开发入门与实战(Behaviors使用) - 2

    @作者:SYFStrive @博客首页:HomePage📜:微信小程序📌:个人社区(欢迎大佬们加入)👉:社区链接🔗📌:觉得文章不错可以点点关注👉:专栏连接🔗💃:感谢支持,学累了可以先看小段由小胖给大家带来的街舞👉微信小程序(🔥)目录自定义组件-behaviors    1、什么是behaviors    2、behaviors的工作方式    3、创建behavior    4、导入并使用behavior    5、behavior中所有可用的节点    6、同名字段的覆盖和组合规则总结最后自定义组件-behaviors    1、什么是behaviorsbehaviors是小程序中,用于实现

  9. ruby-on-rails - environment.rb 中设置的常量在开发模式中消失 - 2

    了解Rails缓存如何工作的人可以真正帮助我。这是嵌套在Rails::Initializer.runblock中的代码:config.after_initializedoSomeClass.const_set'SOME_CONST','SOME_VAL'end现在,如果我运行script/server并发出请求,一切都很好。然而,在我的Rails应用程序的第二个请求中,一切都因单元化常量错误而变得糟糕。在生产模式下,我可以成功发出第二个请求,这意味着常量仍然存在。我已通过将以上内容更改为以下内容来解决问题:config.after_initializedorequire'some_cl

  10. ruby - 我的 Ruby IRC 机器人没有连接到 IRC 服务器。我究竟做错了什么? - 2

    require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器,我做错了什么? 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame

随机推荐