草庐IT

数据推荐 | 手势识别训练数据集

数据堂官方账号 2024-01-31 原文

多样化,有按键、语音等,也由于整个疫情的大环境下,一种更方便更卫生更符合人们的非接触式交互方式—手势识别正大步发展,极富图像化和具备行动性的手势操作将会与人们的生活息息相关。

手势识别应用场景广泛,常见应用场景包括直播互动、智能家居、智能车载和手语翻译等。
01
直播或在线课程
与主播或老师进行互动,例如比ok代表收到,比对号代表正确,比心代表感谢等。或者对着摄像头摆出特定的手势即可出现相应特效,带来不同于以往的丰富交互体验。

02
智能家居
与智能家居设备进行交互,例如使用左划或者右划的手势模拟遥控器换台,调节空调温度,手指指上表示提高温度,手指指下表示降低温度,握拳代表关闭等。

03
智能车载
与车载AI设备进行交互,通过左右挥手、空中轻点和横扫、手指画圈以及两个手指的平行或斜向拖曳的一系列动作,用户可以接听、拒听电话、控制音量,或进行翻页查询交互界面信息、缩放地图页面、转动摄像头视图等操作。

04
手语翻译
通过自然语言处理技术,将聋人打出的手语词汇调换顺序,转换成通顺的汉语句子,进行文字和手语的自动翻译,并以文字或语音的方式展现,实现聋哑人士的互动需求。

手势识别数据标注方式
手势识别基于不同的算法精度要求,通常包括检测框+手势类别标签标注和手部21关键点+手部类别标注两种标注方式。
其中检测框+手势类别标注适合手势简单且预算有限的需求。
对于复杂的手势及精度较高的识别要求,则通常选取手部21关键点+手势类别的标注方式。
手部21点包括选取手部关键的部位点及关节点,通过标注这21个点可以抽象出手部所有的动作形态,标注样例如图1所示:

手势识别任务难点
基于实际情况,手势识别任务具备以下三个难点。
手势种类多:人的手部十分灵活,可以做出很多不同的静态、动态手势,部分相似手势的识别对算法提出了较高要求。
遮挡严重:在人做不同手势时,会造成严重的手部关键点遮挡,做双手手势(如抱拳礼)时遮挡会更加严重,对算法的特征提取及不可见点预测造成较大难度。
动态模糊:部分人机交互场景需要动态手势,而动态手势会造成一定程度的动态模糊现象,对手势识别算法造成难度。
数据堂手势识别数据集
数据堂针对手势识别的任务需求和难点,从数据层面进行了针对性设计,将业内常用的手势识别需求细分成通用静态手势、通用动态手势和手语手势,并分别制作了对应的数据集,分别介绍如下:
01

314178张18种手势识别数据
该数据集采集通用静态手势数据,用于人机交互。涉及1000名以上采集人员,利用手机拍摄不同机位、不同手势、同一手势不同方向的左右手手势数据。
从手势种类来看,包含日常人机交互等18种常用单手及双手手势,具体包括数字1-6、数字8、单手比心、OK、点赞、踩、握拳、Rock、Love、双手比心、双手合十、拜年、抱拳礼。
在数据标注方面,对手势图片采用手部21关键点+手势标签标注。其中,每个关键点均包含可见不可见属性;手势标签包括手势类别、采集者性别、左右手、手势正面背面、采集背景、相机位置、手势旋转角度等。

数据具体介绍如下:
02
558870段50种动态手势识别数据
该数据集采集通用动态手势数据,涉及1000名以上采集人员,用于人机交互。利用手机、iPad及笔记本电脑从不同角度拍摄左右手手势数据。
​从手势种类来看,包含日常人机交互等50种常用的动态手势,具体包括手指滑动,手掌滑动,全掌变换、拳部滑动,静止等。
​在数据标注方面,标注各段视频标签,标签包括手势类别、采集者性别、左右手、采集背景、拍摄角度等。
​数据具体介绍如下:
03

180718张手语手势识别数据
该数据集利用手机拍摄采集常用手语涉及到静态手势及动态手势,涉及100名以上采集人员,包含41种静态手势及95种动态手势。
从手势种类来看,包含简单的0-9、A-Z等静态手语手势,以及吃饭、再见、哥哥、工作等动态手语手势。
在数据标注方面,对手势图片采用手部21关键点+手势标签标注。其中,每个关键点均包含可见不可见属性;手势标签包括手势类别和左右手。
数据具体介绍如下:

依托自身的数据优势以及丰富的数据处理经验,数据堂推出的手势识别数据集,为手势识别技术应用的广泛落地提供助力。

有关数据推荐 | 手势识别训练数据集的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  3. ruby-on-rails - Rails 中的推荐引擎 - 2

    我想为我的Rails网络应用程序提供推荐功能。特别是,我想向新注册的用户推荐他可能想要关注的其他用户。Rails中是否有用于此目的的引擎/gem?如果没有,我应该从哪里开始构建它?谢谢。 最佳答案 有Coletivogemhttps://github.com/diogenes/coletivo我试了一下。在MySQL上运行。Neo4jhttp://neo4j.org真的很容易实现一个“跟随谁”。事实上,大多数展示其能力的样本都涉及“跟随谁”。快速提示-只有在JRuby上运行时,Neo4j.rb才会很酷。如果不是-使用Neograph

  4. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  5. 报告回顾丨模型进化狂飙,DetectGPT能否识别最新模型生成结果? - 2

    导读语言模型给我们的生产生活带来了极大便利,但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT:判断文本是否为机器生成的工具」中,主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具,它可以帮助我们更好地分辨文章的来源和可信度,对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能,实现和效果等展开。(文末点击“阅读原文”,查看活动回放。)Ericmitchell斯坦福大学计算机系四年级博士生,由ChelseaFinn和Chri

  6. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  7. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  8. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  9. [Vuforia]二.3D物体识别 - 2

    之前说过10之后的版本没有3dScan了,所以还是9.8的版本或者之前更早的版本。 3d物体扫描需要先下载扫描的APK进行扫面。首先要在手机上装一个扫描程序,扫描现实中的三维物体,然后上传高通官网,在下载成UnityPackage类型让Unity能够使用这个扫描程序可以从高通官网上进行下载,是一个安卓程序。点到Tools往下滑,找到VuforiaObjectScanner下载后解压数据线连接手机,将apk文件拷入手机安装然后刚才解压文件中的Media文件夹打开,两个PDF图打印第一张A4-ObjectScanningTarget.pdf,主要是用来辅助扫描的。好了,接下来就是扫描三维物体。将瓶

  10. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

随机推荐