草庐IT

Meta这套生成式AI,专为全身Avatar而来

青亭网- 2023-10-09 原文

一提起Meta Avatar虚拟化身,常常有人吐槽它只有半截身子,看起来不自然。的确,尽管Quest整体VR体验优秀,但出于对硬件设计、成本的考虑,技术上依然有限制,比如不能准确追踪下半身,而这种限制也影响了早期的一些VR社交应用,比如《Rec Room》。

Quest不能追踪下半身,是因为头显不具备相应的传感器,而Meta也没有推出官方的体感追踪套件(比如PC VR头显可使用Vive Tracker)。Meta的策略,是尽可能简化VR的使用流程,如果为头显配备定位模块,无疑让设置过程更复杂,且硬件成本更高。为了满足用户对全身Avatar的需求,Meta不久前为Avatar加入了模拟的腿部运动,并通过Body Tracking API开放给开发者。

据了解,Meta Avatar将通过头、手三点的定位信息来推算下半身动作,这显然并不精准。拿《VRChat》来讲,虽然该应用中的虚拟化身有下半身,但并不能跟随用户下半身运动而变化,,意味着Avatar不能模拟自然下蹲、躺下等动作,如果用户在开启VR应用时摘下头显放在桌上或地上,VR内的Avatar可能会呈现奇怪的姿势,具有一定恐怖谷效应。

为了完善Avatar下半身模拟的效果,Meta研发了一种基于MLP架构的条件扩散模型:AGRoL,该模型宣称可根据稀疏的信号生成全身姿态,由于其运行速度足够快,因此也适合VR社交等在线多人应用。

关于AGRoL

Meta指出,随着AR/VR用户群增长,越来越多的人渴望能自然、精准控制的全身Avatar。然而,VR一体机在下半身追踪上具有一定局限,因为它只通过头显、手柄来定位,只能捕捉到少量、稀疏IMU的信号,而且通常仅用于定位和重建上半身部位,比如头部和手腕。想要定位下半身,通常需要额外的IMU模块,缺点是成本高、使用不方便。

简单来讲,Quest系统不能通过头显捕捉的信息准确的追踪下半身,而只能通过追踪上半身关节运动来提取有限的信息,用于合成下半身运动。也就是说,用算法来预测和模拟Avatar的下半身动作。通常,从头、手三点预测全身动作的算法依赖于生成模型,比如标准化流(Normalizing Flow),或是变分自编码器(VAE)。而在各类生成模型中,扩散模型开始在图像、视频生成方面取得不错的成果,尤其是条件扩散模型。

因此,Meta科研人员提出了一种全新的条件扩散模型:AGRoL(全称为“Avatar长腿”),该模型由简单的多层感知器架构(MLP)、运动数据调节方案组成,专门以稀疏信号为条件,根据上半身定位来生成全身姿态。据了解,这种只利用稀疏定位信息重建全身姿态的扩散模型,为市面上首例。

据称,AGRoL是专门为条件运动合成任务量身定制的,可预测出准确、流畅的全身运动。与常见的扩散架构相反,它基于紧凑型架构,可实时运行(在单个NVIDIA V100 GPU上运行时,计算过程仅6毫秒),因此可用于在线身体追踪应用,比如VR社交软件、多人VR游戏等等。

此外AGRoL提升了MLP网络性能,并超越了此前的方案,明显降低了抖动误差,因此和AvatarPoser等其他模型相比,ARGoL生成的动作更加平滑。此外,在追踪信号丢失的情况下,ARGoL的准确度下降不多,因此在追踪信号稀疏的情况下也能较准确的模拟运动。

不过,目前ARGoL方案可能出现地板穿透伪影,后续或许可以通过额外的物理约束,来改善该问题。

其他VR全身定位方案

除了预测算法外,VR也可以使用其他的全身动捕方案,比如:光学Marker、深度相机、RGB相机骨骼动作识别等等。相比之下,AGRoL虽然依靠预测而非准确追踪,但它的优势是成本低,用户无需购买甚至设置额外的硬件,因此用起来很方便。

除了AGRoL外,此前也有将人体运动数据与机器学习模型结合的方案,比如Standable。这是一种无摄像头全身追踪方案,主要是通过算法来模拟VR追踪不到的下肢(如骨盆、膝盖、腿部或关节处),其特点是校准流程轻量化,只需要确认眼部位置即可,此外支持复杂的动作模拟,比如蹲下、躺下、趴下、走路、慢跑等等。相比于Standable,AGRoL的优势是专为Quest打造,与硬件配合更好,尤其是实时运行能力强。

此前青亭网也曾报道多种VR全身定位方案,比如卡内基梅隆大学,在VR手柄上配备广角相机来追踪下半身,或是Meta此前提出的基于电磁原理的6D姿态追踪方案。值得注意的是,索尼在去年也推出了便携式全身动捕产品:Mocopi(售价360美元),未来也许和VR可以有很好的结合。参考:Meta

有关Meta这套生成式AI,专为全身Avatar而来的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby-on-rails - 结合 meta_search 与 acts_as_taggable_on - 2

    我在开发的Rails3网站的一些搜索功能上遇到了一个小问题。我有一个简单的Post模型,如下所示:classPost我正在使用acts_as_taggable_on来更轻松地向我的帖子添加标签。当我有一个标记为“rails”的帖子并执行以下操作时,一切正常:@posts=Post.tagged_with("rails")问题是,我还想搜索帖子的标题。当我有一篇标题为“Helloworld”并标记为“rails”的帖子时,我希望能够通过搜索“hello”或“rails”来找到这篇帖子。因此,我希望标题列的LIKE语句与acts_as_taggable_on提供的tagged_with方法

  3. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  4. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件,并创建一个临时验证的url以发送给同事。(理想情况下,这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针,它似乎不符合这个标准,但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  5. ruby-on-rails - Ruby on Rails - 为文本区域和图片生成列 - 2

    我是Rails的新手,所以请原谅简单的问题。我正在为一家公司创建一个网站。那家公司想在网站上展示它的客户。我想让客户自己管理这个。我正在为“客户”生成一个表格,我想要的三列是:公司名称、公司描述和Logo。对于名称,我使用的是name:string但不确定如何在脚本/生成脚手架终端命令中最好地创建描述列(因为我打算将其设置为文本区域)和图片。我怀疑描述(我想成为一个文本区域)应该仍然是描述:字符串,然后以实际形式进行调整。不确定如何处理图片字段。那么……说来话长:我在脚手架命令中输入什么来生成描述和图片列? 最佳答案 对于“文本”数

  6. ruby-on-rails - 如何生成传递一些自定义参数的 `link_to` URL? - 2

    我正在使用RubyonRails3.0.9,我想生成一个传递一些自定义参数的link_toURL。也就是说,有一个articles_path(www.my_web_site_name.com/articles)我想生成如下内容:link_to'Samplelinktitle',...#HereIshouldimplementthecode#=>'http://www.my_web_site_name.com/articles?param1=value1¶m2=value2&...我如何编写link_to语句“alàRubyonRailsWay”以实现该目的?如果我想通过传递一些

  7. ruby-on-rails - 如何在 Rails 3 中创建自定义脚手架生成器? - 2

    有这些railscast。http://railscasts.com/episodes/218-making-generators-in-rails-3有了这个,你就会知道如何创建样式表和脚手架生成器。http://railscasts.com/episodes/216-generators-in-rails-3通过这个,您可以了解如何添加一些文件来修改脚手架View。我想把两者结合起来。我想创建一个生成器,它也可以创建脚手架View。有点像RyanBates漂亮的生成器或web_app_themegem(https://github.com/pilu/web-app-theme)。我

  8. 报告回顾丨模型进化狂飙,DetectGPT能否识别最新模型生成结果? - 2

    导读语言模型给我们的生产生活带来了极大便利,但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT:判断文本是否为机器生成的工具」中,主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具,它可以帮助我们更好地分辨文章的来源和可信度,对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能,实现和效果等展开。(文末点击“阅读原文”,查看活动回放。)Ericmitchell斯坦福大学计算机系四年级博士生,由ChelseaFinn和Chri

  9. python - 帮我找到合适的 ruby​​/python 解析器生成器 - 2

    我使用的第一个解析器生成器是Parse::RecDescent,它的指南/教程很棒,但它最有用的功能是它的调试工具,特别是tracing功能(通过将$RD_TRACE设置为1来激活)。我正在寻找可以帮助您调试其规则的解析器生成器。问题是,它必须用python或ruby​​编写,并且具有详细模式/跟踪模式或非常有用的调试技术。有人知道这样的解析器生成器吗?编辑:当我说调试时,我并不是指调试python或ruby​​。我指的是调试解析器生成器,查看它在每一步都在做什么,查看它正在读取的每个字符,它试图匹配的规则。希望你明白这一点。赏金编辑:要赢得赏金,请展示一个解析器生成器框架,并说明它的

  10. ruby - 如何为 pbcopy 生成富文本链接 - 2

    我一直在玩一个脚本,它在Chrome中获取选定的文本并在Google中查找它,提供四个最佳选择,然后粘贴相关链接。它以不同的格式粘贴,具体取决于当前在Chrome中打开的页面-DokuWiki打开的DokuWiki格式,普通网站的HTML,我想要我的WordPress所见即所得编辑器的富文本。我尝试使用pbpaste-Preferrtf来查看没有其他样式的富文本链接在粘贴板上的样子,但它仍然输出纯文本。在文本编辑中保存文件并进行试验后,我想出了以下内容text=%q|{\rtf1{\field{\*\fldinst{HYPERLINK"URL"}}{\fldrsltTEXT}}}|te

随机推荐