深圳电视声学回声处理算法

    什么是非线性声学回声？，什么是非线性的声学回声？这里我给出了一张图，的是声学回声的路径图，图的左边对应的是发射端，右边对应的是接收端。我们发出的信号首先要经过D/A变换，从数字域变换到模拟域，然后再经过功率放大器，放大之后驱动喇叭，这样就会发出声音。发出来的声音经过空气信道传播之后，到了接收端被麦克风采集到，然后再次经过功率放大器，再通过A/D变换，从模拟域又变回到数字域。那么这里的y[k]就是我们收到的回声信号。，我们接收到的回声y[k]到底是线性回声还是非线性回声呢？或者说我们应该怎么去判断它？我觉得要解决这个问题，就是要认识清楚这里面的每一个环节，看看它们到底是线性系统还是非线性系统，如果所有的环节都是线性的话，那么很自然y[k]就是一个线性的回声，否则只要有一个环节是非线性的，那么这个回声就是非线性回声。 双耦合声学回声消除算法的主要贡献体现在两个方面。深圳电视声学回声处理算法

    需要注意的是，如果index在滤波器阶数两端疯狂试探，只能说明当前给到线性部分的远近端延时较小或过大，此时滤波器效果是不稳定的，需要借助固定延时调整或大延时调整使index处于一个比较理想的位置。线性部分算法是可以看作是一个固定步长的NLMS算法，具体细节大家可以结合源码走读，本节重点讲解线型滤波在整个框架中的作用。从个人理解来看，线性部分的目的就是很大程度的消除线性回声，为远近端帧判别的时候，很大程度地保证了信号之间的相干值(0~1之间，值越大相干性越大)的可靠性。我们记消除线性回声之后的信号为估计的回声信号e(n)，e(n)=s(n)+y''(n)+v(n)，其中y''(n)为非线性回声信号，记y'(n)为线性回声，y(n)=y'(n)+y''(n)。相干性的计算（Matlab代码）,两个实验（1）计算近端信号d(n)与远端参考信号x(n)的相关性cohdx，理论上远端回声信号的相干性应该更接近0（为了方便后续对比，WebRTC做了反向处理:1-cohdx），如图5(a)，行为计算近端信号d(n)，第二行为远端参考信号x(n)，第三行为二者相干性曲线:1-cohdx，会发现回声部分相干值有明显起伏，比较大值有，近端部分整体接近，但是有持续波动，如果想通过一条固定的门限去区分远近端帧，会存在不同程度的误判。

     天津电脑声学回声产品介绍非线性声学回声产生的原因。

    为什么又这么冷呢？我能想到的一个答案是它太难了，它非常有挑战性。下面就来看一下它的技术难点。5非线性声学回声消除的技术难点,我从6个不同的维度比较了线性的和非线性这两种回声消除问题。个维度，系统传递函数。在线性系统里面，我们认为系统传递函数是一个缓慢时变的系统，我们可以通过自适应滤波的方式去逼近这个传递函数，来有效抑制回声。而在非线性系统里面，系统传递函数通常是快变、突变的，我们如果用线性的方法去逼近的话，会出现滤波器的更新速度，跟不上系统传递函数变化的速度，就会导致声学回声消除不理想。第二个维度是优化模型，在线性里面我们是有一套非常完备的线性优化模型，从目标函数的构建到系统优化问题的求解，整个脉络是很清晰的。而在非线性的系统里面，目前是缺少一种有效的模型来对它进行支撑的。接下来的四个维度对应4个问题，它们是线性回声消除领域普遍存在的4个难点问题，这些问题在非线性领域也同样存在。比如强混响问题，我们如果在一个小型会议室里开视频会议，那么声音会经过多次墙壁反射，带来很强的混响，混响的拖尾时间会很长。如果想抑制这样的强混响回声，就需要把线性滤波器的长度加长。

    以此来应对市面上绝大多数的移动设备。另外，线性滤波器虽然不具备调整延时的能力，但可以通过估计的index衡量当前信号的延时状态，范围为[0,kNormalNumPartitions]，如果index处于作用域两端，说明真实延时过小或过大，会影响线性回声估计的效果，严重的会带来回声，此时需要结合固定延时与大延时检测来修正。非线性滤波非线性部分一共做了两件事，就是想尽千方百计干掉远端信号。(1)根据线性部分提供的估计的回声信号，计算信号间的相干性，判别远近端帧状态。(2)调整抑制系数，计算非线性滤波参数。非线性滤波抑制系数为hNl，大致表征着估计的回声信号e(n)中，期望的近端成分与残留的非线性回声信号y''(n)在不同频带上的能量比，hNl是与相干值是一致的，范围是[0，]，通过图5(b)可以看出需要消除的远端部分幅度值也普遍在，如果直接使用hNl滤波会导致大量的回声残留。因此WebRTC工程师对hNl做了如下尺度变换，over_drive与nlp_mode相关，不同的抑制激进程度，drive_curve是一条单调递增的凸曲线，范围[]。由于中高频的尾音在听感上比较明显，所以他们设计了这样的抑制曲线来抑制高频尾音。我们记尺度变换的α=over_drive_scaling*drive_curve。

     如何处理非线性声学回声消除，效果又如何？

可以准确快速的进行底噪测试。下图TWS耳机中的左耳，在喇叭播放空声源时，喇叭端有略微的电流声底噪，右耳无此不良现场，通过指南测控的标准声学测试系统进行左右耳TWS声学测试，可以在底噪测试步骤中检测到，有底噪异常的左耳的一些频段能量值偏高，无底噪问题的右耳的表现就“平顺”很多。再结合与更多正常品的对比和设定合理的limits，可以快速准确的检查出耳机在各种状态下的底噪不良。耳机回声回声来自于非预期的泄露，一般分为电学回声和声学回声。前者一般由于麦克风和扬声器线路布局不合理的电路耦合造成，后者则是由于麦克风和扬声器的声学泄露耦合而成。对于回声不良的耳机来说，在通话时，耳机喇叭播放的声音信号通过麦克风又传回电话另一头的手机，从而让讲话者听到自己的声音。对于耳机来讲，主要是声学回声，表现为收发环路的隔离度不好，其根本原因就是耳机在装配时麦克风与喇叭的密封隔离没做好，导致通话时回声出现的不良体验。图中的耳机，在通话时，人耳会略微的感受到回声，也就是佩戴人讲话的声音又传递到了耳机本身的喇叭后播放出来，也有会在通话对方的手机端出现回声现像影响双方的通话质量。指南测控的标准声学测试系统，根据回声传输路径。声学回声的功能怎么样？深圳电视声学回声处理算法

非线性的声学回声消除是一个很有挑战的研究方向。深圳电视声学回声处理算法

    这样会带来一个新的问题：按照Widrow的自适应滤波理论，滤波器的长度越长，其收敛速度越慢，同时权噪声越大，进而导致强混响下回声消除不够理想。第二个问题是延时跳变问题。在实时音视频通话领域，延时跳变是一个比较普遍的问题。主要现象是麦克端采集的信号和回声参考信号之间的时延关系会发生跳变，每次跳变之后就需要重新对齐信号，就会漏一些回声出来。第三个问题是啸叫问题。啸叫的检测和啸叫的抑制是公认的在回声领域的经典难题。还有双讲问题。双讲是评估回声消除算法性能的一个重要指标，当然也是很难处理的一个问题，因为双讲很容易导致滤波器系数发散。综合以上这些维度我们可以看到，非线性的声学回声消除是一个很有挑战的研究方向。双耦合声学回声消除算法这个是我们团队提出来的一种算法，它的主要特点是，在构建滤波器模型的过程中结合了非线性声学回声的一些特性，因此它在抑制非线性回声方面，也体现出固有的优势。1.非线性声学回声系统建模,继续回到前面的这个声学回声路径。我们对这个模型进行了简化。我们将左边的喇叭端用一个传递函数Wn来表示，假设它的是非线性的回声路径传递函数；同时我们将喇叭右边，就是麦克端，统一用Wl来表示。

    深圳电视声学回声处理算法