草庐IT

清华可穿戴智能喉登Nature子刊,实测准确率90%+

丰色 2023-03-28 原文
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

将一块仅硬币大小的圆片,贴在喉咙处,嗓子有问题的人就可以重获新“声”了

这是清华大学发表在Nature子刊上的最新研究成果,一个用石墨烯材料做成的可穿戴喉咙

△ Nature Machine Intelligence(自然·机器智能)

它可以准确识别到佩戴者喉咙处的细微振动以及模糊的话语,然后将之合成为正常的语音,平均识别准确率高达99.05%。

据称,这款设备在噪音非常大的地方也好使。

如此一来,那些不能正常发声的人,包括喉切除患者、临时嗓子发炎者、长时间讲课的老师、在嘈杂环境工作但需要交流的人等,都有救了。


当然,还有不少人直接cue起了李雪健老师。

清华可穿戴智能喉,患者实测准确率91%

要说帮喉咙有问题的人解决交流问题,科学家早就在研究了。

不过此前的一些方案由于带有一系列外设或者多通道电极,通常具有侵入性且不够便携。

要解决这俩问题,需要感应器足够灵敏且小巧,在外部就能使用。

还需要足够贴合皮肤。

因为理论上,喉部的振动反映的是声带以及相关肌肉群的运动。

一些声带发声有障碍的人,可能会训练食管发声,因此,需要柔性传感器来保持对皮肤的贴合从而照顾到这一部位。

好在,有这么一种东西可以满足这些需要。

它就是用柔性激光直写(laser-scribed)石墨烯(LSG)制成的机械传感器,专门用于身体表面。

不过,由于不确定这种设备对低频肌肉运动和传递到皮肤表面的声音振动是否敏感,作者团队对它的蜂窝状微观结构进行了优化。

最终,它可以做到在>1000次的弯曲测试后仍表现出均匀稳定的灵敏度,准确识别出频率范围在100–20kHz之间的振动信息。

由于LSG薄膜具有导电性和导热性,这种设备也可以通过热声效应产生声音。在声音发射稳定性的实验中,作者证明它可以做到连续三小时都保持稳定。

下面是这款可穿戴智能喉的工作流程:

首先,设备将收集到的振动信息编码为标准脉冲编码调制(PCM)信号。

然后通过快速傅里叶变换(FFT)生成相应的频谱图。

接着通过模型进行外部处理和识别,将检测到的多模态信号转换为相应的语音。

最后通过热声效应驱动设备发声,帮助佩戴者完成交流。

实验表明,这款设备对音素、音调以及单词的识别准确率平均达到了99.05%。

下图则显示了设备在不同强度(dB)噪音下的识别精度。

可以看到,它在环境噪声超过60dB的情况下,也能保持识别能力,抗噪能力远远优于麦克风。

“Talk is cheap”,作者也进行了实战测试。

他们找来一位完成了喉切除(非全切)手术的志愿者,检测六个日常短句的识别情况。

从频谱图可以看出,可穿戴智能喉可以感知患者喉咙的发声振动。

不过由于发声器官不完整,患者有时会在说话时吞咽声音。不过微调模型仍然能够从信号中提取足够的信息,将识别准确率做到81.25%。

接着,他们又对用到的单个AlexNet模型进行了优化(Alex Net+ReliefF+SVM),最终实现了91%的识别精度。

总的来说,由于制造工艺可行、灵敏度高、性能稳定、抗噪能力强以及集成了发声能力,作者认为,这款可穿戴喉咙可以成为下一代语音识别和交互系统的理想工具。

而网友们也脑洞大开:

有让加个音色调节的过滤器,变成可穿戴变声器的;

也有说来个实时翻译,就让人直接拥有说多种语言的能力的。

你觉得还有哪些妙用?

论文地址: 

​​https://www.nature.com/articles/s42256-023-00616-6

有关清华可穿戴智能喉登Nature子刊,实测准确率90%+的更多相关文章

  1. Nature Neuroscience:高家红团队首次发布中国人脑连接组计划研究成果及其大数据资源 - 2

    人类生活在充满多样性的世界里。长久以来的研究发现,人类的脑与行为受到基因、环境和文化及其相互作用的塑造,然而这种影响发生的机制始终缺乏系统性探索与研究。近年来,前沿神经影像技术方法飞速进步,推动着多模态脑成像大数据集的产生和融合性探索,并让学界得以深入探究人脑宏观结构与功能连接组架构,为包括上述主题在内的许多有趣而重要的科学问题带来了新的启发和思路。2022年12月20日,北京大学物理学院、IDG麦戈文脑科学研究所高家红团队在《NatureNeuroscience》在线发表了题为“IncreasingdiversityinconnectomicswiththeChineseHumanConne

  2. ruby - 获取以兆字节为单位的准确文件大小? - 2

    如何获得以MB为单位的准确文件大小?我试过这个:compressed_file_size=File.size("Compressed/#{project}.tar.bz2")/1024000puts"filesizeis#{compressed_file_size}MB"但它截断了0.9并显示2MB而不是2.9MB 最佳答案 尝试:compressed_file_size=File.size("Compressed/#{project}.tar.bz2").to_f/2**20formatted_file_size='%.2f'%c

  3. javascript - 准确的长轮询示例? - 2

    我创建了一个函数,该函数应该进行长轮询并获取“推送”给我的实时数据。现在我正在测试一个json对象,该对象的格式与我收到数据后的外观相同。到目前为止,它似乎工作准确。我只是想知道你怎么想的?您会以某种方式重构它还是完全以另一种方式重构它?varurl='../../path_to_script/respondents.json';functionfetchData(){$.ajax({url:url,method:'GET',dataType:'json',contentType:"application/json;charset=utf-8",cache:false,success:

  4. javascript - 40 位整数在 JavaScript 中是否准确表示? - 2

    我正在使用需要生成(使用*和+操作)和比较40位整数的服务器端计算。我知道此时V8引擎将数字存储为Double而不是int。我可以依赖这些数字来正确生成和比较吗?我的直觉是肯定的-double不应该有问题-但我不确定如何检查或在哪里可以找到这方面的信息。 最佳答案 是的。JavaScriptNumber,这是一个64位IEEE754浮点值,可以存储从-253到253的整数而不损失精度,因为double最多可以存储53位尾数(明确为52)。引用资料:ECMA-262:4.3.19NumbervalueDouble-precisionf

  5. javascript - 使用 Javascript 捕获 react 时间,准确性问题 - 2

    我正在构建一个点探测任务(人们必须在图像消失后对一个点做出快速react),我们需要测量react时间并显示预定义时间间隔内的刺激,以便在在线治疗研究中使用。我们已经决定使用Javascript,我们愿意对用户施加一些限制,即排除IE等。不过我们不能完全禁止Windows。我读了JohnResig'spost关于这个话题,根据这个,我们将不得不禁止Windows上的所有浏览器,除了Firefox和Chrome。另外thisanswer建议使用console.time();作为FF和Chrome的最佳实践。我有一些后续问题,考虑到Resig的帖子现在已有4年历史,并且上面的问题是关于测量

  6. javascript - 在向用户显示输出的同时准确测量 Javascript 函数的性能 - 2

    正如您在下面的代码中看到的,当我增加字符串的大小时,它会导致0毫秒的差异。此外,随着字符串数量的增加,会出现不一致的情况。我是不是做错了什么?letstringIn=document.getElementById('str');letbutton=document.querySelector('button');button.addEventListener('click',()=>{lett1=performance.now();functionToTest(stringIn.value);lett2=performance.now();console.log(`timetakeni

  7. javascript - javascript 如何以如此准确的方式打印 0.1? - 2

    我已经heardjavascript数字是IEEE754float,这解释了原因>0.3-0.20.09999999999999998但是我不明白>0.10.1我认为0.1不能准确地存储为以2为底的float,但它会立即打印出来,就像它一直是0.1一样。是什么赋予了?解释器在打印之前是否进行了舍入?至少有2个版本的IEEE754对我没有帮助:1984版本和2008.听起来后者添加了fullsupportfordecimalarithmetic.好像我们没有那个。 最佳答案 JavaScript使用IEEE-754double(200

  8. javascript - AWStats 还是谷歌分析?哪个更准确? - 2

    我的托管服务提供商提供了AWStats。我也有谷歌分析设置。但两者都显示不同的统计数据,我应该相信谁?这两个哪个更准确?我是否应该使用其他方法来获得准确的统计数据。 最佳答案 他们以不同的方式衡量。AWStats使用经过分析的服务器日志,其中包括爬虫和机器人程序,以及禁用JavaScript的最终用户和选择退出GoogleAnalytics的用户,GoogleAnalytics均未对其进行衡量。AWStats根据来自其IP地址的服务器日志中的命中组合构建访问,因此他们不会跟踪从多个位置访问或具有动态IP地址的用户,并且他们计算来自同

  9. javascript - 是否可以更准确地测量 SVG 文本高度? - 2

    我正在尝试测量用于呈现具有给定字体和SVG文本标记的给定字符串的确切高度。我试过使用getBBox和getExtentOfChar,但是这两个返回的高度包括在实际呈现的文本上方(有时在下方)的一些额外空间。http://upload.wikimedia.org/wikipedia/commons/3/39/Typography_Line_Terms.svg使用此图像中的术语,我试图获得正在呈现的文本的大写高度+下降高度。或者,如果那不可能,那就是上限高度。有没有好的方法来计算这些值?这是一个快速代码笔,显示了我正在谈论的额外空间:http://codepen.io/pcorey/pen

  10. javascript - 在网站上显示准确的本地时间? - 2

    有人要求我在我们的网站上显示“正确”时间,坦率地说,我觉得这毫无意义,因为“正确”可以用多种方式解释。我们当前的方法肯定会导致时间不准确,因为它使用服务器控件呈现JavaScript,该JavaScript使用来自服务器的日期时间作为参数运行onload,以在JavaScript中创建时钟对象,该对象最终呈现在页面上,然后开始递增时钟。在服务器处理、网络延迟和客户端性能(有很多其他东西在加载运行)之间,时钟最终偏离实际服务器时间,谁知道与客户端PC相比。所以为了获得显示的“正确”时间,我可以;使用本地PC时间并将newDate()传递给JavaScript时钟对象。优点:应尽可能接近P

随机推荐