從單聲道、立體聲、環繞聲發展到三維聲，音頻回放技術的迭代演進是為了還原真實世界的聲音，其中，三維聲技術使用信號處理的方法對到達兩耳的聲音信號進行模擬，將聲場還原為三維空間，更接近真實世界，憑借這個技術，各廠商在游戲、影視、音樂等場景中為用戶創造更真實自然且沉浸的聽覺體驗，也實作了更好的用戶訂閱增長，
傳統3D音頻的制作需獲取原始的分軌素材（如錄制的人聲、鋼琴聲等），并使用專業的數字音頻作業站（DAW）和3D混音插件手工制作，因此制作周期長、生產效率低、成本高、門檻高，此外，開發者由于沒有歌曲的原始分軌，因此通過傳統方法進行3D音頻制作的難度很大，HMS Core音頻編輯服務（Audio Editor Kit）提供了音源分離（獲取分軌）、空間音頻渲染能力，開發者僅需輸入立體聲，就能快速生成3D音頻內容，提升用戶音頻體驗和提升產品競爭力！
HMS Core音頻編輯服務3D音頻生成示意圖
音源分離技術
由于我們當前接觸到的音頻大都是立體聲，所有音頻物件（如音樂中的人聲、鋼琴、吉他等）都已經混合在左右兩個聲道當中，無法輕易地分開，更不要提將其渲染放置在不同的空間位置，因此將立體聲中的特定元素分離是3D化的一個核心技術，
華為演算法團隊通過對大量的音樂進行深度學習建模，并結合傳統信號處理能力最終實作音源分離：首先利用短時傅里葉變換（STFT）將一維的音頻信號變換到二維的時頻譜；然后將得到的二維的時頻譜與原始的一維時域信號一起作為雙流輸入，通過多層的殘差編碼及大量資料的訓練，獲得目標樂器的隱空間表達；最后進一步通過一系列的變換矩陣最侄訓原成原始的物件立體聲信號，
上述處理程序中使用的變換矩陣和網路結構是華為的獨特技術，是針對不同的樂器音色特點專門設計的，能夠確保每一個樂器都能盡可能的分離完整且干凈，為3D化提供足夠優質的分軌素材，其涉及的核心能力包括：
1、 音頻信號特征提取：包括通過編碼器從時域信號直接提取特征，以及通過短時傅里葉變換從時域信號提取時頻譜特征；
2、 深度學習模型構建：加入殘差模塊與注意力機制，增強對不同樂器諧波建模能力與時序關聯能力；
3、 多通道維納濾波：結合傳統信號處理的能力，通過深度學習建模預測物件與非物件功率譜關系，構建與處理濾波系數，
音頻分離技術示意圖
目前，HMS Core已對外開放了12種音源分離的能力（人聲、伴奏、鼓、小提琴、貝斯、鋼琴、木吉他、電吉他、弦樂、主唱、帶伴唱伴奏和管弦樂），幫助開發者快速地提取出自己想要的樂器進行3D化編輯，
空間音頻渲染技術
僅通過兩只耳朵收聽外部聲音，人類為什么可分辨聲源的位置呢？這是由于從聲源傳遞到兩只耳朵的聲音實際上存在細微的差異，包括到達時間、接收到的能量、以及相位差等資訊，而這些資訊差綜合體現在一系列傳遞函式，稱為頭相關傳遞函式（HRTF），通過將HRTF疊加到單點聲源，我們就可以虛擬出真實世界中聲音的方位直達聲的部分，為解決因頭型、肩寬等人體體征的差異帶來的HRTF因人而異的難題，我們通過大量資料的分析，設計了一套較普適的HRTF，可以讓每個人都能享受到3D音頻，另外為了營造空間中聲音的反射、散射、干涉等物理現象，我們還通過疊加一系列的房間相應函式（RIR）來構建真實的空間，形成所謂的混響，因此，通過一系列的HRTF和RIR對聲源進行濾波，我們就可以將之前分離的素材進行3D化，形成3D音樂，
空間音頻渲染技術示意圖
目前，HMS Core音頻編輯服務提供的音源分離、空間音頻渲染服務這套組合拳已經應用在華為音樂的高級音效當中，用戶可以進入華為音樂音效頁面，在高級音效欄目中選擇聲空音效或聲樂純享，感受3D音頻的魅力，
華為音樂聲空音效與聲樂純享功能
以上技術來自華為2012實驗室，通過HMS Core音頻編輯服務面向開發者開放，在音樂音頻領域為用戶帶來差異化的3D音頻體驗，其他更多關于HMS Core音頻編輯服務的資訊，請訪問華為開發者聯盟-HMS Core音頻編輯服務官網
了解更多詳情>>
訪問華為開發者聯盟官網
獲取開發指導檔案
華為移動服務開源倉庫地址：GitHub、Gitee
關注我們，第一時間了解 HMS Core 最新技術資訊~
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/500608.html
標籤：其他
上一篇：HMS Core音頻編輯服務音源分離與空間音頻渲染，助力快速進入3D音頻的世界
下一篇：python——面向物件