anyRTC在音頻領域的探索

前言

WebRTC 包含了語音引擎、視頻引擎和網路傳輸三大模塊，其中語音引擎是WebRTC中最具價值的技術之一，實作了音頻資料的采集、前處理、編碼、發送、接受、解碼、混音、后處理、播放等一系列處理流程，但是該語音引擎是開發初衷是VoIP通信，正常的通信功能完全能滿足，但是要做到千人千面顯得捉襟見肘，

anyRTC借鑒了WebRTC的語音引擎，在此之上做了全方位修改:

• 音頻Profile的實作：支持Voip和Music 場景，實作了采樣率、編碼碼率、編碼模式、聲道數的綜合性技術策略，用戶可以根據自己的場景設定音頻模式，
• 音頻伴奏功能：支持本地以及網路音瞥澩：支持wav、mp3、m4a、aac等格式，
• 雙講優化（音頻雙工）：適配6000+設備，針對設備型別以及型號做特殊演算法處理（Android），
• 領先的 3A演算法：智能適應各類環境，全面消除回聲，并提供超一流的雙講表現；可在不損傷語音音質的情況下，有效消除各類噪音；可實作音頻的自動增益，即使在嘈雜環境下用戶也能體驗優異，
• 美聲：在高音質基礎上，進一步提升聲音的表現，達到聲音美化或改變音色的效果，
• 變聲：將聲音朝著特定的方向進行調整以達到區別原聲的效果，如大叔、小姐姐、豬八戒等變聲效果變聲效果，
• 支持耳返功能：支持調節耳返的音量，耳返延時低至 50ms，
• AI降噪功能：實作人聲和背景噪聲實時分離，有效抑制常見噪聲，杜絕回聲和嘯叫，為用戶提供超純凈音質體驗，
• 音頻超分：將低解析度的音頻轉化為一個高解析度的音頻的程序，即提高了采樣率，或者說重構了一部分消失的頻譜，為用戶提供低帶寬高質量的音頻體驗，
• Windows螢屏共享聲音支持回聲消除演算法：解決螢屏共享的時候選擇共享桌面音頻，跟本地麥克風混音時候的回聲問題，

通信場景下用戶痛點和技術難點

經過長期的調研和用戶回訪，anyRTC整理了通信場景下用戶遇到的痛點和技術難點，做了以下整理，

（1）無聲問題

?音視頻通話程序當中就能碰到無聲問題，像驅動例外，硬體設備例外，無麥克風權限，設備初始化，電話打斷等也能造成無聲問題，

（2）漏回聲

在音視頻通話程序中還會出現漏回聲的問題，在傳統的PSTN電話系統中基本不存在回聲，因為延時比較低，而且大部分電話都是話筒模式，很少使用外放，但是使用VoIP客戶端，比如說PC和手機終端，越來越多的人喜歡使用外放，而不需要把耳機放在耳朵上，這樣就容易產生回聲問題，

（3）聲音嘈雜

聲音嘈雜的問題，比如在移動場景，室外，或者是辦公室里辦公，辦公室里的敲鍵盤聲音、水杯喝水的聲音，戶外嘈雜環境，比如超市、機場，各種嘈雜的聲音會通過麥克風傳入通信的通道中，導致通話聲音嘈雜，傳統的降噪演算法很難去處理這些復雜的噪聲，

（4）雙講聲音小或聽不到的問題

當一個頻道出現多個人同時說話的時候或者在一個嘈雜的環境中通信的時候，聲音會斷斷續續，或者一方聲音很小，聽不清，對多人音視頻通信帶來了很不友好的體驗，

（5）音頻卡頓

還有像聲音卡頓的問題，聲音卡頓大家第一時間會想到是和網路相關，但是實際解決問題的程序當中，我們發現有很多的原因都有可能導致音頻卡頓，網路雖然占了很大一塊，但不是所有的原因，

比如在信源質量差的時候進行聲音信號處理的程序中會出現卡頓，因為一些很小的語音會被當成噪聲消掉，同樣，CPU過載，播放執行緒同步失效也會導致卡頓，處理回聲采集播放不同步的時候，導致漏回聲的現象也會出現卡頓，所以在會議程序當中，會有來自很多方面的原因，導致最后的音質受損，

（6）同地多設備進入

在通信的程序當中，還會出現同地多設備的問題，在以前使用電話的場景下，大家基本不會碰到這樣的問題，因為一個房間就一個電話，不存在多個電話、多個聲學設備在同一個地方入會的情形，現在隨著會議解決方案的普及，每個人電腦上面都能安裝一個協同會議的客戶端，大家習慣性帶著電腦參加會議，分享螢屏和PPT內容，每個人都進入會議，把他的螢屏分享打開，一下子會發現，在一個頻道里面出現了很多個終端，同樣多個聲學設備在同一個地方進入頻道，立刻帶來問題就是有回聲，

（7）專業的調聲臺的使用

在通信的程序當中，還會出現用戶使用專業的調聲臺，連接輸入高音質伴奏，音樂有高音和重低音的場景，當這些音樂輸入到通信設備的時候，經過3A處理，會把聲音修剪，達不到現場聽的效果，

（8）音樂教學場景

對于在線音樂教學而言，用戶不僅要求音視頻通話需要體現實時的特性，更要求絕對的高質量，例如，音質的流暢性、音質的還原、高低音的細微甄別，以及畫面的呈現質量，但是音樂場景千差萬別，各種樂器教學要求都不一樣，音視頻處理的機制需要跟隨場景的變化而變化，

AI技術+領先的3A演算法+精準的設備適配提升音頻體驗

anyRTC結合AI技術+領先的3A演算法+精準的設備適配，從以下4個方面全方位的提升用戶在音頻方面的體驗，確保用戶可以有“聲臨其境”的感覺，

（1）音頻超分

?根據低頻的資訊進行預測生成，把高頻的分量很好的補償出來，讓原來聽起來比較沉悶，不夠豐富的語音變得更加明亮，聲音音質變得更加豐滿，

（2）美聲演算法

對音調、音色、動態、韻律、空間效果等進行調節，達到人聲的美化，這種方法不僅用戶接入門檻低、成本低，并且能保證實時互動的體驗，

（3）AI降噪

• 基于計算聽覺場景分析理論，應用深度學習技術，能夠在不依賴任何硬體的基礎上，實作將人聲和噪音分離，有效抑制環境中的各種噪音，只需要打開AI降噪按鈕就可以實作智能降噪功能，大幅度提升通話質量，
• DHS深度嘯叫抑制：基于深度學習技術，智能阻斷聲反饋回路，抑制嘯叫產生，有效解決實時游戲、在線會議等多人實時通話場景下嘯叫問題，保證兩臺或者多臺設備距離特別近的時候沒有嘯叫聲音產生，

（4）領先的3A演算法

智能適應各類環境，全面消除回聲，并提供超一流的雙講表現；可在不損傷語音音質的情況下，有效消除各類噪音；可實作音頻的自動增益，即使在嘈雜環境下用戶也能體驗優異，超過了6000+的設備適配，

anyRTC在音頻場景下的應用

（1）音樂教學

線上教育已經走進了千家萬戶，大家也逐漸接受和認可了這種教學模式，而線上音樂教學也有針對性的出現了，

線上音樂教學針對的用戶群體是學習聲樂和樂器的小朋友，與平常的學科不同的是音樂教學對于線上交流的音質有著較高的要求，僅僅聽清楚是夠的，要能夠聽清語音語調，聲音變化的強弱等一些細微的差別，保證老師在視頻的另一端與在線下聽到的聲音相差無幾，

（2）語音聊天室

?語音聊天室大多數針對用戶和陌生人之間的交流，通過聊天交流擴充自己的社交圈子，認識更多的朋友，

為互動體驗并增加趣味性，通常需要美化人聲或為人聲增添豐富的音效，很明顯，在語聊等場景中，用戶已經不在滿足于被聽見，被聽清、能互動，以及擁有高清的音質體驗才是他們所追求的，希望不僅能有最佳的音質，還想要讓自己的聲音變得更動聽、更有磁性！

（3）在線合唱

在線合唱與以往的合唱不同，以往的合唱都是用戶開啟合唱功能之后先一個人和伴奏演唱，完成之后上傳，其他用戶可以使用這個已經有人聲的伴奏再唱一遍，實作“合唱”，而我們要做到的合唱是兩位用戶同時在線唱歌，合唱的伴奏是同時通過網路發送給兩位歌手的，而且兩位歌手在演唱的同時可以聽到彼此的聲音，這樣對于音質與聲音的清晰度有著較高的要求，

anyRTC在音頻場景下的未來展望

anyRTC 會在用戶的使用場景上進行突破，結合AI技術去落實場景：

（1）AI變聲

?AI變聲集語音表征學習技術、風格遷移技術之大成，不再是冰冷的、千篇一律的角色聲音，

用戶通過語音輸入聊天內容，語音編碼器自動將內容分為兩部分：一部分為聊天內容資料，AI對聊天內容資料進行聲紋特征編碼，以提取用戶的音色;另外一部分為韻律資料，也就是用戶說話的節奏、流露的情感、包含的語氣，AI通過對音頻特征的壓縮編碼及特征抽取，學習用戶的說話風格，與此同時，用戶選擇一個角色，AI自動激活說話人編碼器，調出目標說話人的音色并進行替換，最終得到帶有角色音色的音頻，

AI變聲可以應用在語音連麥直播、語聊房、開黑語音、K歌房、FM電臺等場景，用戶可以自由選擇自己喜歡的聲音進行變換，極大的提高用戶的體驗感，增加用戶的留存率，

（2）AI音頻超分

視頻超分可以讓影像變得更加清楚，而音頻超分的目的是為了讓聲音更加清晰，更符合原聲，

音頻超分從以下三個方面入手：

• ?擴展帶寬

帶寬擴展的功能是把音信號被移除掉的高頻區域的資訊恢復出來，讓語音信號聽起來更明亮，更像面對面的交流，

• 隱藏丟包

一段音頻信號通過網路進行傳輸時，要首先被分為若干幀，然后被編碼、組包、發送，當網路狀態不好或者有波動時，就會有部分包無法按時送達接收端，即發生了丟包，AI音頻超分通過學習大量語料，能夠覆寫到更多場景，補出丟包的聲音，使得聲音得到還原，

• 語音增強

語音增強是指當語音信號被各種各樣的噪聲干擾、甚至淹沒后，從噪聲背景中提取有用的語音信號，抑制、降低噪聲干擾的技術，也就是從含噪語音中提取盡可能純凈的原始語音，

AI音頻超分對于線上音樂教育有著至關重要的影響，目前線上音樂教育最大的痛點就是聲音不清楚，音質不達標，老師沒有辦法像在線下一樣聽清楚小朋友的發音和音準，而AI音頻超分正好可以解決這一難題，使得線上音樂教育在未來能夠更近一步，

（3）AI編碼器

AI編碼器是神經網路的一種，經過訓練后能嘗試將輸入復制到輸出，自編碼器由編碼器和解碼器組成，

AI編碼器本質上是學習輸入資料低維特征表示的神經網路結構，AI編碼器可以使我們獲得更高的碼率、解析度、色深、動態范圍等，

AI編碼器可以用來去除圖片噪聲，影像噪聲是指現實中的數字影像在數字化和傳輸程序中常受到成像設備與外部環境噪聲干擾等影響，

（4）AI降噪

AI降噪可自動實作音頻降噪和調高音量等功能，可以極大消除音頻中的風聲、水聲、電流聲等多種噪聲，與此同時，還可以調高音量，最侄訓出高品質的音頻檔案，

語音連麥，游戲開黑現在也是現在娛樂行業非常熱門的一個環節，主播與主播，主播與用戶之間連麥溝通，可以增強直播效果，增加用戶的粘性，游戲開黑更加受到年輕人的喜愛，大家在打游戲的時候可以保證良好的溝通，讓游戲效果更加完整，

語音連麥和游戲開黑都對周圍環境有著很高的要求，周圍的環境如果比較嘈雜就沒有辦法有很好的溝通效果，就拿游戲比賽直播來說，比賽臺上選手們時時刻刻都在進行著溝通，臺下的用戶會經常給選手們加油打氣，從而造成隊友之間的溝通不清楚，聽不清指令，對游戲的進行有很大的影響，而AI降噪可有極大地緩解噪聲對于用戶的影響，AI降噪可以自動識別周圍噪音的，清楚的將人聲傳遞到用戶的耳中，

以上是anyRTC對聲音這方面的總結，以及一些未來的研究方向，后續anyRTC會逐步推出更多關于音視頻的技術應用，挖掘更多的應用場景，為廣大開發者朋友們提供最專業的服務，