北京电视声学回声通话

时间:2023年01月16日 来源:

    男人说话的声频为~150Hz,女人说话声频为~230Hz,发动机声频为~250Hz,绝大部分机器的噪音也是以低频为主的中低频噪音),9.声音频率(声频)声波在单位时间内的振动次数称为频率(frequency),单位赫(Hz)。人耳能够听到的声音的整个范围是20~20000Hz,一般把声音频率分为低频(500Hz以下)、中频(500-1000Hz)和高频(1000Hz以上)三个频带。听觉好的成年人能听到的声音频率常在30~16000Hz之间,老年人则常在50~10000Hz之间。10.混响声源停止发音后,产生的声音延续现象。11.混响时间当声场达到稳定的状态后,突然关掉声源使其停止发声,声能逐渐减小到原来声能(稳定时具有的声能)的百万分之一所经历的时间,通常用声压级60dB所需要的时间,一般用T60表示(有时也用T),单位为秒(S);(简而言之:声能密度衰减60dB所需要的时间)。12.混响时间计算公式塞宾公式T60=αS。其中A为总吸声量,α为吸声系数,S为样件面积,V为混响室体积。13.比较好混响时间对大量音质效果评价认为较好的各种用途的厅堂实测的500HZ和1000HZ满场(指实际使用状态)的混响时间进行统计分析,从而得到的混响时间称为比较好混响时间。14.直达声与混响声声源发出的直接到达的声音是直达声。

     我们把声学回声消除这个技术变成一张实体的插件(设备插卡),在系统中,为实现次回声过滤。北京电视声学回声通话

    我们常说,距离产生延时,而在模拟音频大举转向数字音频、网络音频的,网络信号的延迟也为音频领域赋予了新的现象,尤其应用在远程会议这样的音频传输系统当中,它能将一次次回授剥离成一次次听似回声的现象,这就是网络音频回声。该图片经我司设计员制作后作者再编辑通常由A地发出的声源A在几乎不经过延迟处理的本地系统中,通过A地音箱扩声;而其经过网络终端编码送向远端时,除了考虑A地的上传时间X,还得考虑B地的下载时间Y。在这样一个架构在Internet网络传输环境中的声音,其到达B地扩声音箱出来的信号则是A+X+Y。经B地本地话筒拾取后的该信号,再由B地的上传网速(时间)Z、A地的下载时间W传送回A地扩声音箱,其表现出的信号则会出现一次A信号,及一次赋予了(X+Y+Z+W)时间的A信号。假设A地—B地传输时间总和为200ms,B地—A地传输时间总和为200ms,则信号的一去一回,体现在A扩声音箱中至少会存在A和A+400ms的信号,若反馈信号电平足够强,则再被话筒拾取,这将不止产生一次的回声,而是多次规律的回声现象。该图片来源于Motivity产品DP处理器AEC调试界面AEC即AcousticEchoCancellation(声学回声消除)技术简称。

    北京电视声学回声通话声学回声消除,其主要用于抑制产品本身发出的声音。

我们比较这两个之后就会发现,双讲段主要出现在中间这一段。我们评估双讲性能的主要指标是回声抑制比和近端语音失真度。上面这是经过回声消除之后的语谱,中间的是NLMS算法的结果。我们可以看到它的回声抑制不是很理想,不管在单讲段还是在双讲段,都有比较多的回声残留。而下面这个是采用双耦合算法得到的语谱,可以看到在单讲和双讲里面回声抑制得都比较干净,并且在双讲里,对近端语音的损伤也很小。这个数据对应视频会议场景,因此还需要做一步NLP的处理。上面这个就是基于双耦合算法,做了NLP之后的输出结果。我们可以看到处理完之后,整个语谱很清晰,回声去得很干净,而且语谱没有太大损伤,双讲很通透。我再来简单总结一下,主要是介绍了三个方面的内容,个就是认识了非线性声学回声、产生的原因、研究现状以及技术难点。接下来重点介绍了华为云音视频的双耦合声学回声消除算法,我们的主要贡献体现在两个方面,个方面就是构建一种双耦合自适应滤波器结构;第二个就是提出了小平均短时累计误差准则并进行求解。通过求解之后,我们会得到双耦合滤波器的线性滤波器是具有Wiener-Hopf方程解的比较好解这种形式,然后非线性滤波器具有小二乘解。

    在线性的回声场景里,双耦合的非线性滤波器是处于休眠的状态,所以它的值是趋于0的,这个时候起主导作用的是线性滤波器。接下来我们再看一下右边的非线性声学回声场景。我们假设非线性的失要出现在t1到t2这个时间段内,大家可以看到黄色线在这个时间里,出现了一次突变,对于NLMS算法,当出现非线性失真之后,它的线性滤波器会去逼近非线性失真。但是由于学习的速度跟不上滤波器变化的速度,所以它跟真实的值之间总是存在一个比较大的gap。同时当非线性失真消失之后,它还需要一段时间恢复到正常状态,因此在整个时间段里,都会出现回声泄露的问题。接下来我们再看双耦合算法,在非线性失真出现之后,线性滤波器会进入到一种相对休眠的状态,就是前面所提到的耦合机制,会降低它的更新速度,所以在整个非线性出现的这段时间里,他的值是缓慢变化的。进入非线性失真状态之后,非线性滤波器开始工作,它会快速非线性特性的变化,而当非线性失真消失之后,非线性滤波器又进入休眠状态。将这两个滤波器结合起来,就可以实现对整个声学回声路径的变化进行有效。这里只是给出了一个示例,实际情况往往要复杂很多。接下来我们对这2个滤波器做了特性比较,主要是从4个不同的维度。

     声学回声的作用有哪些?

    为什么又这么冷呢?我能想到的一个答案是它太难了,它非常有挑战性。下面就来看一下它的技术难点。5非线性声学回声消除的技术难点,我从6个不同的维度比较了线性的和非线性这两种回声消除问题。个维度,系统传递函数。在线性系统里面,我们认为系统传递函数是一个缓慢时变的系统,我们可以通过自适应滤波的方式去逼近这个传递函数,来有效抑制回声。而在非线性系统里面,系统传递函数通常是快变、突变的,我们如果用线性的方法去逼近的话,会出现滤波器的更新速度,跟不上系统传递函数变化的速度,就会导致声学回声消除不理想。第二个维度是优化模型,在线性里面我们是有一套非常完备的线性优化模型,从目标函数的构建到系统优化问题的求解,整个脉络是很清晰的。而在非线性的系统里面,目前是缺少一种有效的模型来对它进行支撑的。接下来的四个维度对应4个问题,它们是线性回声消除领域普遍存在的4个难点问题,这些问题在非线性领域也同样存在。比如强混响问题,我们如果在一个小型会议室里开视频会议,那么声音会经过多次墙壁反射,带来很强的混响,混响的拖尾时间会很长。如果想抑制这样的强混响回声,就需要把线性滤波器的长度加长。

    声学回声的功能怎么样?广东通话声学回声自抑制算法

基于前面构建的短时相关度函数,我们对大量声学回声数据进行分析。北京电视声学回声通话

    黑色这条线是标准NLMS算法的回声抑制比。我们可以看到,NLMS算法在收敛之后,回声抑制比只能到10个分贝左右,相对比较低。而双耦合算法在收敛之后,可以达到25个分贝以上,也就是说它比NLMS算法多15个分贝,这个优势是很明显的。接下来我们再看第二个示例,针对弱非线性失真的情况,左边是语谱,右边是回声抑制比。我们评估单讲性能的主要指标是回声抑制比和收敛速度。首先看一下NLMS算法,它在收敛之后,大概可以抑制22~25个分贝。这个算法的收敛速度很慢,大概经过100多帧之后才会进入到相对收敛的状态。再来看一下双耦合算法,在稳定之后,可以抑制35~40个分贝,比NLMS算法大概提升15~20个分贝的回声抑制比。同时它还有一个很明显的优势:收敛速度很快,几乎是回声到了之后,他瞬间就进入到收敛状态。接下来这个是针对不同手机机型的回声抑制比的比较。红色是双耦合算法,蓝色是NLMS算法,从这组数据里面,我们可以看到双耦合算法比NLMS算法普遍提升了大概10个分贝以上的回声抑制比,具有比较大的优势。再进入双讲测试场景。我首先介绍一下测试的示例,这组数据是一个视频会议的数据,左边这个是原始的麦克信号语谱,右边这个是回声参考信号语谱。

     北京电视声学回声通话

深圳鱼亮科技有限公司依托可靠的品质,旗下品牌Bothlent以高质量的服务获得广大受众的青睐。业务涵盖了智能家居,语音识别算法,机器人交互系统,降噪等诸多领域,尤其智能家居,语音识别算法,机器人交互系统,降噪中具有强劲优势,完成了一大批具特色和时代特征的通信产品项目;同时在设计原创、科技创新、标准规范等方面推动行业发展。随着我们的业务不断扩展,从智能家居,语音识别算法,机器人交互系统,降噪等到众多其他领域,已经逐步成长为一个独特,且具有活力与创新的企业。值得一提的是,深圳鱼亮科技致力于为用户带去更为定向、专业的通信产品一体化解决方案,在有效降低用户成本的同时,更能凭借科学的技术让用户极大限度地挖掘Bothlent的应用潜能。

信息来源于互联网 本站不为信息真实性负责