在 WebRTC 中，Audio 資料在被送入編碼器之前，有 2 大部分需要特別關注，一是資料采集，二是 Audio Processing，
作者：方來，技術專家，從事 voip 應用開發，
資料采集
資料采集主要由 Audio Device 模塊進行處理，而且是平臺和配置相關，例如：
- Mac 電腦，使用的是 CoreAudio API，一般情況下使用默認內置的聲卡引數 fs=48kHz，stero，
- Windows 電腦，WebRTC 中用的是 WASAPI，根據聲卡引數不同，采樣率等引數可選的比較多，例如有的電腦 builtInAEC 打開后，fs=16kHz，Mono，如果把聲卡的 Audio Enhancement 關閉，則輸出 fs=48kHz，stero，
- Android 一般使用 java 層的 AudioRecord 框架，
- iOS 一般使用 AudioUnit 框架，
另外，資料采集部分，還涉及到 USB 耳機，3.5mm 耳機，藍牙耳機等外設，這些設備對音頻鏈路上后續的 Audio Processing 也是有影響的，比如增加了 Audio 采集的delay，有 Speech Enhancement 處理的耳機會修改音頻頻譜，有的耳機外設使用不當可能會導致音頻鏈路沒有聲音，
Audio Processing
Audio Processing 主要包括 AEC，AGC，NS 等等：
- AEC----Acoustic Echo Cancellation，即回音消除，
- AGC----Automatic Gain Control，即自動增益，用來調整輸入信號的音量大小，
- NS----Noise Suppression，即噪音抑制，
從 Audio Devices 輸出的資料依次經過 AEC，NS，AGC 等音頻處理模塊，
1.AEC
AEC 演算法選擇
在 WebRTC 中，AEC 有 4 個可選的演算法：
- builtInAEC，一般情況下 Windows，Android 系統，builtInAEC 默認會開啟，
- AECM，移動端的回音消除演算法，適用于 Android和 iOS，
- AEC 演算法，適用于 Windows/Mac Desktop 的回音消除演算法，當然 AEC 也可以用在移動端，某些情況下，回聲泄露的性能比 AECM 好，不過最新的 WebRTC 已經把老的 AEC 的 code 移除了，
- AEC3 演算法，Google 對老的 AEC 演算法的改版，目前 AEC3 已經全面替代老的 AEC 演算法，
一般情況下這 4 種 AEC 演算法只能選擇一種，否則會做多次 AEC，對聲音的損傷也會增加，在不得已的情況下，可能會用到 2 個 AEC，例如 Windows 電腦，buildInAEC 關不掉且效果差的情況下，就必須打開 AEC3，這時是用到 2 個 AEC，
aec_dump
在一次通話中，使用 StartAecDump 開啟 aec_dump 功能，aec_dump 將錄制 3 個檔案，一個是未進入 Audio Processing 模塊的 input.wav，一個是 Speaker Render 的輸出檔案 reverse.wav，一個是經過 Audio Processing 處理過的 ref_out.wav，
正常情況下，input.wav - reverse.wav = ref_out.wav，
通過這 3 個檔案可以分析回音消除演算法是否有問題，
2.AGC
WebRTC 的 AGC 有 2 種演算法：
- Legacy AGC
- AGC2
下面簡單展示一下 Legacy AGC 的性能，
原始語音
AGC 后的語音，Legacy AGC 本身沒有降噪功能，噪音和語音同時放大的，
3.NS
目前 WebRTC 的 Noise Suppression 模塊，能夠過濾掉比較平穩的背景噪音，例如 white nosise，空調聲等，但是 NS 模塊對音量非常大的背景噪音，還有 babble noise 都是失效的，這也是我們客戶端在 Microphone 功放的情況下的“嘈雜不清”的因素之一（當然導致嘈雜還有其他的原因，例如 AEC 的性能等等)，
夾雜 white noise 的錄音
white noise 被過濾掉
4.其他增強演算法
- High Pass Filter，用來過濾低頻噪音，比如我們可以把 100Hz 甚至 200Hz 以下的低頻噪音過濾掉，
- Typing Detector，可以過濾掉鍵盤打字的聲音，
- Residual Echo Detector，殘留回音探測，
優化點
-
采集（當然也包括播放）容易出現沒有聲音問題，所以必須對采集（聲卡驅動）端進行聲卡適配優化，
-
AEC 區分平臺：
A. Windows 平臺，一般 Windows 的聲卡面板里面有一個“Audio Enhancement”，這個里面有的含有 builtInAEC，默認是打開的，通過 Windows API 關閉這個 Audio Enhancement 的幾乎不可行，有的 builtInAEC 效果比較差，這時 AEC3 必須打開，通常情況下，builtInAEC 和 AEC3 同時打開，以便最大程度減少回聲，
B. Mac 電腦，默認沒有 buildInAEC，通常就直接使用 AEC3， -
在 AEC 演算法中增加“near talk”，“far talk”，“double talk”， “no talk”狀態，結合這幾種狀態，采取不同的操作，例如在只有 far talk 的時候，不做 AGC，能夠起到減少近端噪音的作用，
「視頻云技術」你最值得關注的音視頻技術公眾號，每周推送來自阿里云一線的實踐技術文章，在這里與音視頻領域一流工程師交流切磋，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/240391.html
標籤：其他
上一篇：Argo CD使用指南：如何構建一套完整的GitOps？
下一篇：多平臺容器鏡像構建就看這一篇