通话声学回声识别

    深入浅出WebRTCAEC（声学回声消除）,前言：近年来，音视频会议产品提升着工作协同的效率，在线教育产品突破着传统教育形式的种种限制，娱乐互动直播产品丰富着生活社交的多样性，背后都离不开音视频通信技术的优化与创新，其中音频信息内容传递的流畅性、完整性、可懂度直接决定着用户之间的沟通质量。自2011年WebRTC开源以来，无论是其技术架构，还是其中丰富的算法模块都是值得我们细细品味，音频方面熟知的3A算法（AGC:Automaticgaincontrol;ANS:Adaptivenoisesuppression;AEC:Acousticechocancellation）就是其中闪闪发光的明珠。本文章将结合实例解析WebRTCAEC的基本框架和基本原理，一起探索回声消除的基本原理，技术难点以及优化方向。回声的形成WebRTC架构中上下行音频信号处理流程，音频3A主要集中在上行的发送端对发送信号依次进行回声消除、降噪以及音量均衡（这里只讨论AEC的处理流程，如果是AECM的处理流程ANS会前置），AGC会作为压限器作用在接收端对即将播放的音频信号进行限幅。那么回声是怎么形成的呢？如图2所示，A、B两人在通信的过程中，我们有如下定义：x(n):远端参考信号，即A端订阅的B端音频流，通常作为参考信号；y(n):回声信号，即扬声器播放信号x。

    声学回声消除，该技术的出现旨在消除这种因远程网络会议所带来的回授现象。通话声学回声识别

WebRTCAEC算法中开辟了可存储250个block大缓冲区，每个block的长度PART_LEN=64个样本点，能够保存的1s的数据，这也是理论上的大延时能够估计的范围，够用了。我们用610ms延时的数据测试(启用大延时调整需要设置delay_agnostic_enabled=1)：我们还是设置默认延时为240ms，刚开始还是调整了-60个block，随后大延时调整接入之后有调整了-88个block，一共调整(60+88)*4=592ms，之后线性滤波器固定index=4，表示剩余延时剩余16ms，符合预期。③线性滤波器延时估计是固定延时调整和大延时调整之后，滤波器对当前远近端延时的直接反馈。前两者调整不当会造成延时过小甚至非因果，或延时过大超出滤波器覆盖能力，导致无法收敛的回声。因此前两者在调整的过程中需要结合滤波器的能力，确保剩余延时在滤波器能够覆盖的范围之内，即使延时小范围抖动，线性部分也能自适应调整。总结与优化方向WebRTCAEC存在的问题：（1）线性部分收敛时间较慢，固定步长的NLMS算法对线性部分回声的估计欠佳；（2）线性部分滤波器阶数默认为32阶，默认覆盖延时132ms，对移动端延时较大设备支持不是很好，大延时检测部分介入较慢。湖北电视声学回声识别认识了非线性声学回声、产生的原因、研究现状以及技术难点。

    反映到听感上就是回声（远端判断成近端）或丢字（近端判断为远端）。（2）计算近端信号d(n)与估计的回声信号e(n)的相干性，如图5(b)，第二行为估计的回声信号e(n)，第三行为二者相干性cohde，很明显近端的部分几乎全部逼近，WebRTC用比较严格的门限（>=）即可将区分绝大部分近端帧，且误判的概率比较小，WebRTC工程师设置如此严格的门限想必是宁可一部分双讲效果，也不愿意接受回声残留。从图5可以体会到，线性滤波之后可以进一步凸显远端参考信号x(n)与估计的回声信号e(n)的差异，从而提高远近端帧状态的判决的可靠性。存在的问题与改进理想情况下，远端信号从扬声器播放出来没有非线性失真，那么e(n)=s(n)+v(n)，但实际情况下e(n)与d(n)很像，只是远端区域有一些幅度上的变化，说明WebRTCAEC线性部分在这个case中表现不佳，如图6(a)从频谱看低频段明显削弱，但中高频部分几乎没变。而利用变步长的双滤波器结构的结果会非常明显，如图6(b)所示无论是时域波形和频谱与近端信号x(n)都有很大差异，目前aec3和speex中都采用这种结构，可见WebRTCAEC中线性部分还有很大的优化空间。如何衡量改进的线性部分效果？这里我们对比了现有的固定步长的NLMS和变步长的NLMS。近端信号d。

    男人说话的声频为～150Hz，女人说话声频为～230Hz,发动机声频为～250Hz，绝大部分机器的噪音也是以低频为主的中低频噪音）,9.声音频率(声频)声波在单位时间内的振动次数称为频率(frequency)，单位赫(Hz)。人耳能够听到的声音的整个范围是20~20000Hz，一般把声音频率分为低频（500Hz以下）、中频（500-1000Hz）和高频(1000Hz以上)三个频带。听觉好的成年人能听到的声音频率常在30~16000Hz之间，老年人则常在50~10000Hz之间。10.混响声源停止发音后，产生的声音延续现象。11.混响时间当声场达到稳定的状态后，突然关掉声源使其停止发声，声能逐渐减小到原来声能（稳定时具有的声能）的百万分之一所经历的时间，通常用声压级60dB所需要的时间，一般用T60表示（有时也用T），单位为秒（S）；(简而言之：声能密度衰减60dB所需要的时间)。12.混响时间计算公式塞宾公式T60=αS。其中A为总吸声量，α为吸声系数，S为样件面积，V为混响室体积。13.比较好混响时间对大量音质效果评价认为较好的各种用途的厅堂实测的500HZ和1000HZ满场（指实际使用状态）的混响时间进行统计分析，从而得到的混响时间称为比较好混响时间。14.直达声与混响声声源发出的直接到达的声音是直达声。

     什么是非线性声学回声，它产生的原理、研究现状以及技术难点等问题。

这将不止产生一次的回声，而是多次规律的回声现象。AEC即AcousticEchoCancellation（声学回声消除）技术简称，该技术的出现旨在消除这种因远程网络会议所带来的回授现象，以遏制次回声产生所需的必要条件来遏制多次回声的出现。为什么要费那么大周折去抑制回声？这个话题应该不言而喻了。会议、语音扩声讲究的即是STI语音清晰度（可懂度），而回声是语言清晰度的比较大。设想踩脚跟式的语音信号传达到耳朵，听者难受，讲者费劲，对于这样的语音会议来说，那必将是一场灾难。我们把声学回声消除这个技术变成一张实体的插件（设备插卡），在系统中，为实现次回声过滤（过滤回声源则过滤多次回声）。这个技术应该插入在系统的哪个环节呢？我们不妨来找找系统中具备近乎相同/相似信号的一级进出环节。们并不难发现一组具备相似信号的输入输出环节。而AEC技术认为，在这里对回声下手是治根的办法！市面上有多种类的回声消除器，也有部分抑制器，其算法和解决办法各有不同，本文就不详细阐释了。须知，通过对具有相似性极高的输入、输出信号的比对，约掉这一具备相似信号的输出。深入浅出 WebRTC AEC（声学回声消除）。上海录播声学回声喇叭抑制算法

声学回声往往会经过多个不同路径的多次反射之后到达接收端。通话声学回声识别

    非线性声学回声产生的原因非线性声学回声产生的原因，我一共列了两条原因。原因之一，声学器件的小型化与廉价化，这里所指的声学器件就是前面B里面提到的功率放大器和喇叭。为什么声学器件的小型化容易产生非线性的失真呢？这个需要从喇叭发声的基本原理说起，我们都知道声波的本质是一种物理振动，而喇叭发声的基本原理就是通过电流来驱动喇叭的振膜发生振动之后，这个振膜会带动周围的空气分子相应发生振动，这样就产生了声音。如果我们要发出一个大的声音的话，那么就需要在单位时间内用更多的电流去驱动更多的空气分子发生振动。假设有大小不同的两个喇叭，他们用同样的功率去驱动，对于大喇叭而言，由于它跟空气接触的面积要大一些，所以他在单位时间内能够带动更多的空气分子振动，所以它发出来的声音也会大一些。而小喇叭如果想发出跟大喇叭一样大的声音，就需要加大驱动功率，这样会带来一个问题：我们的功率放大器件会进入到一种饱和失真的状态，由此就会带来非线性的失真。这就是声学器件小型化容易产生非线性失真的一个主要的原因。这里廉价化比较好理解了，就不多说了。原因之二。就是声学结构设计的不合理。典型的一个实例就是声学系统的隔振设计不合理。

     通话声学回声识别

深圳鱼亮科技有限公司坐落于龙华街道清华社区建设东路青年创业园B栋3层12号，是集设计、开发、生产、销售、售后服务于一体，通信产品的服务型企业。公司在行业内发展多年，持续为用户提供整套智能家居，语音识别算法，机器人交互系统，降噪的解决方案。公司具有智能家居，语音识别算法，机器人交互系统，降噪等多种产品，根据客户不同的需求，提供不同类型的产品。公司拥有一批热情敬业、经验丰富的服务团队，为客户提供服务。Bothlent以符合行业标准的产品质量为目标，并始终如一地坚守这一原则，正是这种高标准的自我要求，产品获得市场及消费者的高度认可。深圳鱼亮科技有限公司以先进工艺为基础、以产品质量为根本、以技术创新为动力，开发并推出多项具有竞争力的智能家居，语音识别算法，机器人交互系统，降噪产品，确保了在智能家居，语音识别算法，机器人交互系统，降噪市场的优势。