草庐IT

Meta再放大招!VR新模型登CVPR Oral:像人一样「读」懂语音

一提到AR、VR体验,声音体验都是最重要的一环。无论是在元宇宙的party上狂欢,还是戴着增强现实(AR)眼镜在客厅看家庭电影,声效对用户的沉浸式体验都至关重要。这不,MetaAI与MetaRealityLab的音频专家联手,并与德克萨斯大学奥斯汀分校的研究人员合作,共同推出三个开源模型,用于对视频中人声和环境声的同步解析。「我们正尝试建立这样的MR与VR场景,我们相信人工智能将为每个沉浸式环境提供相匹配的音质」他们说。人体所处的物理环境不同,人耳所感知的声觉效果也不同。例如,音乐会在大型场地和客厅的声音有很大的不同。这是因为物理空间的几何形状、该区域的材料和表面,以及声音来自何处的接近度,都

Meta再放大招!VR新模型登CVPR Oral:像人一样「读」懂语音

一提到AR、VR体验,声音体验都是最重要的一环。无论是在元宇宙的party上狂欢,还是戴着增强现实(AR)眼镜在客厅看家庭电影,声效对用户的沉浸式体验都至关重要。这不,MetaAI与MetaRealityLab的音频专家联手,并与德克萨斯大学奥斯汀分校的研究人员合作,共同推出三个开源模型,用于对视频中人声和环境声的同步解析。「我们正尝试建立这样的MR与VR场景,我们相信人工智能将为每个沉浸式环境提供相匹配的音质」他们说。人体所处的物理环境不同,人耳所感知的声觉效果也不同。例如,音乐会在大型场地和客厅的声音有很大的不同。这是因为物理空间的几何形状、该区域的材料和表面,以及声音来自何处的接近度,都
12