草庐IT

动作捕捉技术赋能协作机器人示教学习

您家豆子 2023-03-28 原文

协作机器人(cobots)后来居上,前景广阔

如今工业与互联网之间的联系日趋紧密,智能工业成为下一代工业趋势。在中国制造2025及德国工业4.0计划中,机器人都是建设制造强国的重要内容。机器人在经历最初的被控制型单纯生产工具阶段后,正沿着具备多种感知能力、自主决策以及与人高效交流和智能协作的方向发展。同时,机器人的工作空间与范围不断扩大,越来越多地走进人类生产生活的非结构化环境。机器人与人的共融,将成为下一代机器人的本质特征。人机共融意味着人机共处于同一自然空间,二者紧密协调,在确保人员安全的前提下,机器人能够自主提高技能,实现与人的自然交互。对工人而言,机器人不再是单纯的生产工具,而是一个助理,因此协作机器人也通常被称作“Cobots”。

传统工业机器人主要存在以下几个问题:

第一,传统机器人部署成本高。工业机器人主要功能是完成重复性工作,这依赖于极高的重复定位精度以及固定的外界环境。机器人的配置、编程、维护,以及设计固定外界环境都需要很高的成本。

第二,传统机器人无法满足中小企业需求。传统工业机器人主要针对可以大规模进行生产的企业,比如车企,其特点是产品定型后,生产线在足够长的时间内不需要做大的改动,基本不需要做重新编程或部署。而中小企业与之相反,其产品特征为小批量、定制化、短周期,这要求机器人能快速部署,上手更简单。

第三,传统机器人无法满足新兴的协作市场需求。传统工业机器人设计初衷是高精度、高速度完成工作,而与其在同一工作环境时人的安全性并不是该类机器人的关注重点,一般简单采取利用围栏把机器人与人隔离开的方式。但是随着人力成本的上升,3C、医疗、食品等之前较少使用机器人的行业,也开始寻求自动化解决方案,这些行业工作的特点是接触产品种类多、对操作者灵活度和柔性要求高,而传统机器人无法满足其新兴需求。针对这些特点,协作机器人应运而生,大有后来居上的趋势。协作机器人能够和人协作工作,人负责柔性、灵活性要求较高的工序,机器人负责重复性工作,同时具备安全协作的特性,不需要利用围栏隔开人与机器人以保证安全。

得益于其安全性、易用性和开放性的特点,协作机器人在工业和非工业领域都有广阔的应用空间。除了能满足新兴小型电子行业小型化精细化的需求,完成取料、产品检测等工作,协作机器人还可以应用在商业领域(非工业),如仓储物流中拣货环节、医疗行业中的手术辅助以及按摩等场景,与人类在人机共存的的环境下完成各种工作。

映射方法示教学习降低协作机器人使用难度

要保证协作机器人功能的实现,就要对机器人运动轨迹进行规划。现阶段进行机器人轨迹规划对于普通用户来说专业门槛太高,这也限制了协作机器人的大规模推广。针对这一问题,示教学习方法提供了一种简单直接的轨迹规划方式:机器通过“观察”人的动作演示,再结合合适的机器学习方法进行建模学习,从而获得完成相应任务的能力,该方法能够很大程度上降低用户学习使用成本。

使用示教学习这一方式需要经过几个过程。学习前,不同的机器人系统需要选择合适的数据采集方法记录示教数据。在学习阶段,由于人和机器人尺寸及运动能力不匹配,部分系统需要解决示教数据人机对应问题。然后,如何对示教数据建模以得到在不同场景中最合适的运动模型是示教学习中的重点。最后,学习方法还需要解决如何使用所学习到的模型生成适应新任务场景的运动轨迹的问题。

在这一过程中,高精度运动数据的获取至关重要。示教学习数据获取的方法可以分为两大类:第一类是映射方法(mapping method),通过动作捕捉系统、光学传感器、数据手套及其他传感器获取人体运动数据,然后将这些数据映射到机器人动作上,该方法具备简单直观、得到的运动轨迹平滑的优点,一般用于与人体结构类似的机器人系统上方;第二类是非映射方法(non-mapping method),通过直接牵引机械臂(动觉示教),或用示教盒、手柄等遥控装置控制机械臂(遥控示教)运动,记录下关节处的运动信息,该方法省去了示教者与机器人之间的映射,但是生成的轨迹不够平滑。

精度高、延迟低,光学动作捕捉系统满足示教需求

通过了解示教学习具体过程方法,以及两种数据获取方式的特点,可以发现,对于要求协作机器人运动拟人化程度更高的场景,通常会选择映射方法捕捉人体运动动作,以获取更精准的示教学习数据。

例如在一些对于协作机器人作业精度要求很高的特定行业中(比如某些精细零部件的装配,或者医疗行业辅助完成手术等),需要完成对人的运动姿态准确建模,并选择合适的机器学习方法和执行策略,使机器人完成指定任务,这就需要先获取高精度的人体运动轨迹数据。

NOKOV度量光学三维动作捕捉系统精度高达亚毫米级,具备高精度低延迟的特点,广泛应用于协作机器人的示教学习数据获取。光学式动作捕捉系统主要由红外动作捕捉镜头等硬件产品和计算机软件系统两部分组成,在动作捕捉过程中,由多个动作捕捉镜头向外发射红外射线,并对标记点进行连续高速拍摄,根据得到的连续图像测算出标记点的移动轨迹,并将相关数据传输给计算机,计算机通过解析相应灰度图像得到空间坐标信息等高精度数据。

NOKOV度量动作捕捉示教学习应用案例

NOKOV度量与多所高校展开深度合作,提供高精度动作捕捉,用于不同行业的协作机器人示教。

哈尔滨工业大学(深圳)机电工程与自动化学院-3C装配机器人

哈工大楼云江老师团队提出一种示教学习方法,用于协作机器人进行3C零件装配。该方法搭建了覆盖1m*1m捕捉区域的动作捕捉系统,利用6台NOKOV度量红外光学动作捕捉镜头 ,以340fps采样频率,采集记录粘贴在操作员手上能够反射红外标记的Marker点的运动数据,从而获得人手和手指的三维空间位置。光学运动捕捉系统平台能够在正常的工业环境中工作,不会干扰操作员的正常装配工作,不会占用太多空间和密集的设备分布。在获取到示教数据之后,该系统通过一系列数据预处理技术,从多组人的装配演示数据中获得几条平滑的装配运动轨迹,最后通过策略学习算法导出机器人再生装配运动轨迹的策略,该策略可以在随机起始目标位置和方向下实现装配任务。

重庆邮电大学先进制造工程学院-医疗机器人缝合技巧学习

重庆邮电大学杨德伟老师团队提出一种演示-分解-建模的医疗机器人均匀缝合技术建模方法。

均匀缝合建模方法分为以下四步:

一、医生完成缝合手术示范操作

二、基于器械-组织-接触状态的变化完成缝合过程的分解,将完整的演示过程分解为功能独立的缝合动作基元。

三、建立用于缝合动作基元的开始和结束状态的参数模型。

四、使用动态运动基元(DMP)方法对缝合动作的动态子过程进行建模。缝合动作基元的动态过程的参数化模型,以及缝合动作基元的开始状态和停止状态参数模型构成缝合技能库。

实验使用7台NOKOV度量光学动作捕捉相机,用于测量和跟踪医生缝合的全过程。捕捉对象为两个手术夹钳,每个夹钳贴三个标志点。动作捕捉系统捕捉到标志点的空间坐标,计算得到夹钳的连续运动轨迹(包括位置和姿态),获取的高精度轨迹数据(亚毫米级)用于过程分解。

NOKOV度量动作捕捉系统具备高精度低延迟的特点,随着协作机器人的应用愈发广泛,NOKOV度量动作捕捉系统也将在其中发挥更大的作用。

有关动作捕捉技术赋能协作机器人示教学习的更多相关文章

  1. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反? - 2

    这似乎非常适得其反,因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误,一个名为UnixSocket的类显然在Windows机器上不能正常工作,等等)。我只是在浪费时间吗?我应该转向不同的脚本语言吗? 最佳答案 我在Windows上使用Ruby的经验很少,但是当我开始使用Ruby时,我是在Windows上,我的总体印象是它不是Windows原生系统。因此,在主要使用Windows多年之后,开始使用Ruby促使我切换回原来的系统Unix,这次是Linux。Rub

  2. Unity 热更新技术 | (三) Lua语言基本介绍及下载安装 - 2

    ?博客主页:https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创,首发于CSDN??学习专栏推荐:Unity系统学习专栏?游戏制作专栏推荐:游戏制作?Unity实战100例专栏推荐:Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正!?未来很长,值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  3. LC滤波器设计学习笔记(一)滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》,侵权删。前言最近需要学习放大电路和滤波电路,但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放,所以也是相当从零开始学习了。滤波电路科普主要分类滤波器:主要是从不同频率的成分中提取出特定频率的信号。有源滤波器:由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波,最普通易于采用的无源滤波器结构是将电感与电容串联,可对主要次谐波(3、5、7)构成低阻抗旁路。无源滤波器:无源滤波器,又称

  4. CAN协议的学习与理解 - 2

    最近在学习CAN,记录一下,也供大家参考交流。推荐几个我觉得很好的CAN学习,本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门,真的通透;秀!靠这篇我竟然2天理解了CAN协议!实战STM32F4CAN!原文链接:https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解(小白教程)原文链接:https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

  5. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

  6. 深度学习部署:Windows安装pycocotools报错解决方法 - 2

    深度学习部署:Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯:公主号AiCharm本系列是作者在跑一些深度学习实例时,遇到的各种各样的问题及解决办法,希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal

  7. ruby - 我的 Ruby IRC 机器人没有连接到 IRC 服务器。我究竟做错了什么? - 2

    require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器,我做错了什么? 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame

  8. ruby - 我正在学习编程并选择了 Ruby。我应该升级到 Ruby 1.9 吗? - 2

    我完全不是程序员,正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3,但我想知道我是否应该升级到Ruby1.9,因为我真的没有任何升级的“遗留”成本。缺点是什么?我是否会遇到与普通gem的兼容性问题,或者甚至其他我不太了解甚至无法预料的问题? 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem,请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问,您可以在以下位置查看:http://www.railsplugins.or

  9. ruby - 我如何学习 ruby​​ 的正则表达式? - 2

    如何学习ruby​​的正则表达式?(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具,因为它可以立即将结果可视化。 关于ruby-我如何学习ruby​​的正则表达式?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/1881231/

  10. ruby-on-rails - 用于门户的 Ruby 技术 - 2

    我刚刚看到whitehouse.gov正在使用drupal作为CMS和门户技术。drupal的优点之一似乎是很容易添加插件,而且编程最少,即重新发明轮子最少。这实际上正是Ruby-on-Rails的DRY理念。所以:drupal的缺点是什么?Rails或其他基于Ruby的技术有哪些不符合whitehouse.org(或其他CMS门户)门户技术的资格? 最佳答案 Whatarethedrawbacksofdrupal?对于Ruby和Rails,这确实是一个相当主观的问题。Drupal是一个可靠的内容管理选项,非常适合面向社区的站点。它

随机推荐