草庐IT

前端声学信号处理—回声消除

步履不停cyc 2023-03-28 原文

回声消除是前端声学信号处理的一个重要方法,本文针对回声的生成原理、回声消除应用场景及原理进行说明。

一、回声消除(AEC)简介

1.定义

所谓的“回声”,是指设备本地扬声器播放的声音被麦克风采集之后形成的声学信号。回声消除就是指在保留本地用户语音的前提下,从麦克风采集的信号中消除这些回声的过程。因此使用回声消除算法解决的是设备扬声器和自身麦克风的耦合现象。

2.使用场景

目前最常见的两个场景是实时音视频通信(RTC)和智能语音交互打断。

(1)RTC

常见的应用场景有线上会议系统、手机通话、蓝牙耳机通话、车载通话系统等。

(2)智能语音交互打断

如在语音交互设备播放内容时语音唤醒,或者在和语音助手对话过程中用户打断语音助手。

3.意义

若没有回声消除算法,在RTC场景中,远端说话人的声音通过扬声器播放出来,又被近端的麦克风收集再传送回远端,导致远端说话人会听到自己的声音,这也是“回声”一词的由来。因此回声在通信过程中,会极大降低信息传递的正确性和效率性。

而在智能语音交互场景中,若回声消除算法不好,交互设备对用户的应答语音被设备本身麦克风采集之后,作为用户的指令进行识别,从而产生误操作,甚至会出现设备持续自问自答情况。因此回声消除算法对语音交互系统的体验极其重要。

二、回声生成模型

下图为回声生成模型。系统接收的信号通常被称为远端信号x,也是扬声器准备播放的语音信号。该信号首先通过系统路径(主要包括一些软件接口、软件缓冲区、硬件缓冲区、数模转换器和功放等)。系统路径一般只会带来信号延时并不会改变信号的特征。

随后该电信号到达扬声器并被转换为振动信号,通过声音传播被用户听到。在此过程中,受到扬声器特性的影响,信号会发生变化。振动信号的一部分会直接传播到麦克风(直接耦合),而另一部分经过房间墙壁和物体的反射会到达麦克风,这就是所谓的房间声学路径。通过扬声器转换和房间声学路径到麦克风的远端信号已经与原始远端信号不一样了,这里用 y 来表示,信号y一般也称为线性回声。信号 y 与干净语音 s 和噪声 n 一起被麦克风采集到,此混合信号被称为近端信号,用 d 表示。在此模型下,回声消除算法的目标是通过远端信号 x 和近端信号 d ,以一定的方式得出 y 的估计,并将其从 d 中减去。远端信号x 相当于给了算法一个参考,因此也被称为参考信号


回声生成模型

三、回声消除算法

针对回声的产生成原理,回声消除的核心是估计扬声器到麦克风的声学冲击响应,利用参考信号与估计的滤波来逼近麦克风接收到的回声信号,然后从混合信号中将其减去,保留近端语音信号。回声消除算法的一般架构如下图所示。

回声消除算法的主要模块分别由延时估计自适应滤波器残留回声估计和消除三个模块组成。

其中,延时估计模块的作用是检测系统路径和房间声学路径对远端信号造成的延时,并将远端信号和对应的近端信号在时间上对齐。

自适应滤波器模块是将扬声器特性和房间声学路径简化为一个线性系统,试图通过自适应滤波器来寻找这个线性系统的传递函数,并将远端信号 x通过该系统转换成对应的y,随后从近端信号中减去。

在实际系统中,由于非线性分的存在,以及自适应滤波器自身的误差等因素,仅靠自适应滤波器模块不可能宗全消除回声,总会有一些回声残留,因此还需要残留回声估计和消除模块对剩下的回声做进一步处理。该模块通常为非线性处理

而在RTC场景中,还需要舒适噪声生成模块,补充轻微的白噪声,使主观听感更加舒适。

因此,一般可将回声分为线性回声和非线性回声,通过自适应滤波来处理线性回声,通过残留回声估计和消除模块处理非线性回声。


有关前端声学信号处理—回声消除的更多相关文章

  1. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  2. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  3. Ruby-vips 图像处理库。有什么好的使用示例吗? - 2

    我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道,是否可以在某处找到执行以下简单操作的ruby​​代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby​​-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby​​-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby​​-vips的github页面上的链接,我们将不胜感激!如果有ruby​​-

  4. ruby - Faye WebSocket,关闭处理程序被触发后重新连接到套接字 - 2

    我有一个super简单的脚本,它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d

  5. ruby - 如何使用 Ruby HTTP::Net 处理 404 错误? - 2

    我正在尝试解析网页,但有时会收到404错误。这是我用来获取网页的代码:result=Net::HTTP::getURI.parse(URI.escape(url))如何测试result是否为404错误代码? 最佳答案 像这样重写你的代码:uri=URI.parse(url)result=Net::HTTP.start(uri.host,uri.port){|http|http.get(uri.path)}putsresult.codeputsresult.body这将打印状态码和正文。

  6. ruby-on-rails - 使用 Ruby 正确处理 Stripe 错误和异常以实现一次性收费 - 2

    我查看了Stripedocumentationonerrors,但我仍然无法正确处理/重定向这些错误。基本上无论发生什么,我都希望他们返回到edit操作(通过edit_profile_path)并向他们显示一条消息(无论成功与否)。我在edit操作上有一个表单,它可以POST到update操作。使用有效的信用卡可以正常工作(费用在Stripe仪表板中)。我正在使用Stripe.js。classExtrasController5000,#amountincents:currency=>"usd",:card=>token,:description=>current_user.email)

  7. ruby-on-rails - Rails 处理 .Erb 与 Nils - 2

    当profile为nil时,总是让我感到悲伤...我该怎么办? 最佳答案 在View中使用变量之前,始终检查变量是否为nil。我确信这个问题有更优雅的解决方案,但这应该能让您入门。 关于ruby-on-rails-Rails处理.Erb与Nils,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/2709605/

  8. Verilog使用inout信号的方法 - 2

    目录一、inout在设计文件中的使用方法1.1、inout的第一种使用方法1.2、inout实现的第二种使用方法1.3、inout使用总结 二、inout在仿真测试中的使用方法一、inout在设计文件中的使用方法在FPGA的设计过程中,有时候会遇到双向信号(既能作为输出,也能作为输入的信号叫双向信号)。比如,IIC总线中的SDA信号就是一个双向信号,QSPIFlash的四线操作的时候四根信号线均为双向信号。在Verilog中用关键字inout定义双向信号,这里总结一下双向信号的处理方法。1.1、inout的第一种使用方法  实际上,双向信号的本质是由一个三态门组成的,三态门可以输出高电平,低电

  9. ruby-on-rails - 如何在多个环境中处理 OmniAuth 回调? - 2

    我有一个应用程序专门使用Facebook作为身份验证提供程序,并正确设置了生产模式的回调。为了让它工作,您需要为您的Facebook应用程序提供一个站点URL和一个用于回调的站点域,在我的例子中是http://appname.heroku.com和appname。heroku.com分别。问题是我的Controller设置为只允许经过身份验证的session,所以我无法在开发模式下查看我的应用程序,因为Facebook应用程序的域显然没有设置为本地主机。如何在不更改Facebook设置的情况下解决这个问题? 最佳答案 创建另一个域l

  10. python - 请在 Perl 或 Ruby 中引入多处理库 - 2

    在python中,我们可以使用多处理模块。如果Perl和Ruby中有类似的库,你会教它吗?如果您能附上一个简短的示例,我将不胜感激。 最佳答案 ruby:WorkingwithmultipleprocessesinRubyConcurrencyisaMythinRubyPerl:HarnessingthepowerofmulticoreWhyPerlIsaGreatLanguageforConcurrentProgramming此外,Perl的线程是native操作系统线程,因此您可以使用它们来利用多核。

随机推荐