上海手机声学回声跟读

    深入浅出WebRTCAEC（声学回声消除）,前言：近年来，音视频会议产品提升着工作协同的效率，在线教育产品突破着传统教育形式的种种限制，娱乐互动直播产品丰富着生活社交的多样性，背后都离不开音视频通信技术的优化与创新，其中音频信息内容传递的流畅性、完整性、可懂度直接决定着用户之间的沟通质量。自2011年WebRTC开源以来，无论是其技术架构，还是其中丰富的算法模块都是值得我们细细品味，音频方面熟知的3A算法（AGC:Automaticgaincontrol;ANS:Adaptivenoisesuppression;AEC:Acousticechocancellation）就是其中闪闪发光的明珠。本文章将结合实例解析WebRTCAEC的基本框架和基本原理，一起探索回声消除的基本原理，技术难点以及优化方向。回声的形成WebRTC架构中上下行音频信号处理流程，音频3A主要集中在上行的发送端对发送信号依次进行回声消除、降噪以及音量均衡（这里只讨论AEC的处理流程，如果是AECM的处理流程ANS会前置），AGC会作为压限器作用在接收端对即将播放的音频信号进行限幅。那么回声是怎么形成的呢？如图2所示，A、B两人在通信的过程中，我们有如下定义：x(n):远端参考信号，即A端订阅的B端音频流，通常作为参考信号；y(n):回声信号，即扬声器播放信号x。

    回声消除AEC（AcousticEchoCancellation）一般指的是声学回声消除，其主要用于抑制产品本身发出的声音。上海手机声学回声跟读

    为什么又这么冷呢？我能想到的一个答案是它太难了，它非常有挑战性。下面就来看一下它的技术难点。5非线性声学回声消除的技术难点,我从6个不同的维度比较了线性的和非线性这两种回声消除问题。个维度，系统传递函数。在线性系统里面，我们认为系统传递函数是一个缓慢时变的系统，我们可以通过自适应滤波的方式去逼近这个传递函数，来有效抑制回声。而在非线性系统里面，系统传递函数通常是快变、突变的，我们如果用线性的方法去逼近的话，会出现滤波器的更新速度，跟不上系统传递函数变化的速度，就会导致声学回声消除不理想。第二个维度是优化模型，在线性里面我们是有一套非常完备的线性优化模型，从目标函数的构建到系统优化问题的求解，整个脉络是很清晰的。而在非线性的系统里面，目前是缺少一种有效的模型来对它进行支撑的。接下来的四个维度对应4个问题，它们是线性回声消除领域普遍存在的4个难点问题，这些问题在非线性领域也同样存在。比如强混响问题，我们如果在一个小型会议室里开视频会议，那么声音会经过多次墙壁反射，带来很强的混响，混响的拖尾时间会很长。如果想抑制这样的强混响回声，就需要把线性滤波器的长度加长。

    广东语音识别声学回声环境噪声抑制算法非线性声学回声消除技术在整个声学回声消除领域是一个相对比较冷的研究方向。

    而正是这两级客观存在的物理声学现象，造就了我们所讨论的内容。在远程会议系统的终端（本地），为了实现多人互动、多人拾音等目的，系统声音免不了被放大还原，而在诸如此类的放大系统中，为本地音箱能够听到远端声音，并能把本地拾音信号传送到远端而互通。众所周知，话筒在拾取到放大后的音箱信号后，再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送至远端。这也是一种回授，明显的远程回授现象可使得系统发生自激震荡。通过一个简易的远程音频传输示意图。能帮助我们更容易地理解声音信号是怎样的流向。

    如果设置nlp_mode=kAecNlpAggressive，α大约会在30左右。如果当前帧为近端帧（即echo_state=false），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，即使滤波后的损失听感上几乎无感知。如图8(a)，hNl经过α调制之后，幅值依然很接近。如果当前帧为远端帧（即echo_state=true），假设第k个频带hNl(k)=，hNl(k)=hNl(k)^α=，滤波后远端能量小到基本听不到了。如图8(b)，hNl经过α调制之后，基本接近0。经过如上对比，为了保证经过调制之后近端期望信号失真小，远端回声可以被抑制到不可听，WebRTCAEC才在远近端帧状态判断的的模块中设置了如此严格的门限。另外，调整系数α过于严格的情况下会带来双讲的抑制，如图9第1行，近端说话人声音明显丢失，通过调整α后得以恢复，如第2行所示。因此如果在WebRTCAEC现有策略上优化α估计，可以缓解双讲抑制严重的问题。延时调整策略回声消除的效果与远近端数据延时强相关，调整不当会带来算法不可用的风险。在远近端数据进入线性部分之前，一定要保证延时在设计的滤波器阶数范围内，不然延时过大超出了线性滤波器估计的范围或调整过当导致远近端非因果都会造成无法收敛的回声。先科普两个问题：。1）为什么会存在延时？首先近端信号d。

   非线性声学回声产生的原因。

    对麦克接收到的声学信号进行调制，而这种振动本质上是一种随机的、非线性的振动，所以它必然会带来非线性失真。3.手机声学特性调研,我们之前针对市面上主要的手机机型做过一次调研，主要调查声学特性。结果我们很惊讶地发现，市面上超过半数的手机机型，声学特性不够理想，对应这里面的“较差”和“极差”这两档。我们平时用手机开外音玩游戏，或者语音通话时，经常会出现漏回声问题和双讲剪切问题，就与手机声学特性不佳有直接联系。当然这组数据只是针对手机这种电子产品，市面上类似于手机这样的电子产品还有很多，它们应该也有类似的问题。这组数据告诉我们，非线性失真问题在我们生活中的电子产品里是一个普遍存在的问题，我相信对这个问题的研究将会是一个很有价值也很有意义的方向。4.非线性声学回声消除技术研究现状我之前在IEEE的数字图书馆里搜索了“声学回声消除”的相关文献，一共找到了3402篇，其中有会议论文，还有期刊、杂志、书等。我用同样的方法搜索了“非线声学回声消除”，结果只找到了254篇文献，不到前面文献的1/10，这意味着非线性声学回声消除技术在整个声学回声消除领域是一个相对比较冷的研究方向。既然这个方向很有价值也很有意义。

     非线性的声学回声消除问题。浙江手机声学回声打断交互算法

如何处理非线性声学回声消除，效果又如何？上海手机声学回声跟读

    再次回授、无限循环而产生反馈现象，而系统在均衡声场后，该现象其实是可以得到明显改观的。但话筒的拾音灵敏度是不是可以无限大呢？不是，在足够电平条件下，它始终会因拾取到具有相干性频率相位关系的输入信号而建立起回授。上述啸叫现象并不是本文重点，但它为我们讨论接下来的话题提供了一个前提，那就是（同一个声场环境中）话筒和音箱无论怎么摆都无法做到完全的隔离，更别说空间声场条件有限的小中型会议室了。在一套有扩声、有拾音的远程会议系统中，为了防止信号回授，我们通常会有意识地将远端输入信号不再路由给远端输出。然而无法抗拒的是，本地话筒因拾取到远端传送至本地扩声的信号，仍可将声音重新传送至远端。这也是一种回授，明显的远程回授现象可使得系统发生自激震荡。通过一个简易的远程音频传输，能帮助我们更容易地理解声音信号是怎样的流向。也能够更清楚地看到这里面可能存在的回授现象。部分工程师在调试远程会议系统时也许遇到过啸叫，那可不一定是本地系统没调好所造成的，你会发现，关掉终端一切非常正常。为什么绝大多数的远程系统没有啸叫呢？这还得感谢您还不算非常质量的网络。我们常说，距离产生延时。

   上海手机声学回声跟读

深圳鱼亮科技有限公司目前已成为一家集产品研发、生产、销售相结合的服务型企业。公司成立于2017-11-03，自成立以来一直秉承自我研发与技术引进相结合的科技发展战略。本公司主要从事智能家居，语音识别算法，机器人交互系统，降噪领域内的智能家居，语音识别算法，机器人交互系统，降噪等产品的研究开发。拥有一支研发能力强、成果丰硕的技术队伍。公司先后与行业上游与下游企业建立了长期合作的关系。Bothlent以符合行业标准的产品质量为目标，并始终如一地坚守这一原则，正是这种高标准的自我要求，产品获得市场及消费者的高度认可。我们本着客户满意的原则为客户提供智能家居，语音识别算法，机器人交互系统，降噪产品售前服务，为客户提供周到的售后服务。价格低廉优惠，服务周到，欢迎您的来电！