成本更低、更優觀看體驗——自研S265編解碼器決議

帶寬是直播運營中最大的成本，根據前瞻網估算全行業2020年的CDN費用支出將超過300億元，在2025年接近1000億規模（https://bg.qianzhan.com/trends/detail/506/200715-ec767b9b.html），可以說降低帶寬是成本控制中至關重要的一環，

與此同時，降低帶寬不應以犧牲體驗為代價，當我們在觀看直播時第一要求是畫面清晰沒有馬賽克，可清楚的看到主播和直播間的各種商品，怎樣確保畫質高清的同時成本又可控，這里核心技術是視頻編解碼；

相機采集到的視頻數字信號通常是yuv格式，每個像素點需要1.5個Byte來表示，以720p 25fps為例，帶寬有263.67Mbps，直播1小時總流量有124.4GB，如有100萬人同時觀看這場直播，CDN費用會超過1億元，好在視頻影像內部幀與幀之間存在非常高的相關性，采用視頻壓縮技術去除相關性后，可以將帶寬降低到原來的1/100-1/400，

視頻壓縮標準主要由ISO（國際標準組織）制訂的MPEG系列和ITU（國際電信聯盟）制訂的H.26X系列，從1990年代開始，視頻壓縮行業經歷了三代主要標準，分別是H.262/MPEG-2、H.264/AVC、H.265/HEVC，每隔十年時間，視頻壓縮標準升級帶來的壓縮率會提升一倍，HEVC（H.265) 作為比AVC（H.264）更新一代的視頻壓縮標準，提供了更靈活的編碼結構和劃分方式，并在運動補償、運動矢量預測、幀內預測、變換、去塊濾波、熵編碼等方面進行了大量改進與優化，得益于這些新的編碼工具和特色技術，相同畫質下最高可以比H.264節省一半碼率，

現有的hevc編碼器存在諸多問題，不能滿足需求，比如手機芯片的硬編碼畫質較差，開源的軟編碼器X265速度慢且壓縮性能也不理想，在業界聞名的MSU編碼器2019比賽中，X265相比X264的碼率節省23.4%，PSNR指標排名第一的編碼器（騰訊V265）相比X264可以節省52.3%的碼率，

S265是淘系技術團隊聯合阿里云開發的高性能H.265編碼器，具有高壓縮，高效率，適應場景廣三大特點，以2019年比賽的100個1080p視頻10個碼率點為測驗基準，S265相比X264可以節省56%的碼率，領先騰訊V265 4個百分點，目前S265已在淘寶直播、優酷視頻、阿里云MTS、VMate、釘釘會議等業務中上線使用，經過檔位調教的S265對比開源X265可實作BDrate 20%以上的增益且編碼速度提升100%-600%；淘寶直播相對于去年，在線規模增加超過一倍，年總成本幾乎未增加，S265也起到了至關重要的作用，

S265 JCTVC class B~F sequence

目前淘寶直播已全量支持S265，在800kbps下實作720p的高畫質壓縮，今年雙十一，在PC直播中還上線了1080p高清直播，為了滿足實時流量調控和低延時直播需求，S265還支持秒級碼率調控和極低延時壓縮模式，在優酷點播中，S265實作了10bit HDR，并實作非實時極致壓縮能力，為優酷雙十一節省大量帶寬成本；

S265的優化思路，從碼率控制、編碼工具兩個方向優化編碼質量，并從快速演算法及工程演算法兩個方向進行速度優化，分別在編碼質量、編碼速度和編碼延時3個方面得到大幅改善，

基于感知模型的編碼質量優化

碼率控制的目標是把碼字分配到更有價值的地方， 從而在目標碼率下使得編碼失真降到最低，或者在失真固定的前提下使碼率降到最低，

在幀級別碼控中，傳統方法統計所有已編碼幀的長期復雜度, 根據單一因素算出的QP不能及時回應畫面的變化，我們基于cutree理論準確估計預分析長度中IBP幀的碼率占比和預期編碼大小，從而在編碼前獲得更準確的量化系數，

ABR是常用一種碼率控制方法，但HM中基于???? ? ????模型的碼率控制方法沒有考慮影像塊之間的參考強度關系，編碼質量比較差，X265，X264中采用的MB-tree方法幀的QP定制不合理，碼控的準確度比較差，平均只有89%，我們根據“每1個bit被分配到任何一個CU，產生的邊際價值都相同”這樣一個原則，對MB-tree方法進行了理論創新，使得編碼精度提升到了97%，且編碼質量提升了0.65db，對應17%的碼率節省，

第1個，I幀的QP推導，X265使用了一個經驗值，沒有考慮到視頻本身的特性，這樣做很不合理，我們用預分析中低解析度影像的復雜度和目標碼率，經過多次迭代搜索得到準確的QP；

第2個，隨著時間的推移，歷史幀的復權重越來越高，新產生的幀權重越來越低，導致其不能很快的回應復雜度的變化，我們根據新產生的幀的參考強度計算出一個Qlamda，跟原來的Q做加權得到真正的Q，可以及時的反應新產生幀及其后續幀的復雜度；

第3個，原演算法采用基于Viterb的P幀決策演算法，每個幀都需要跟歷史幀比較，復雜度很高，并在判決P幀時沒有考慮QP的影響，準確率也不高，我們的演算法只需要計算相鄰幀的變化率，并引入QP來作為判決閾值，大幅降低了計算復雜度并提高了準確度，

塊級碼控分配則受時域cutree和空域AQ影響，s265在時域上越統計噪聲能量，運動強度，紋理邊緣強度，以及編碼配置等引數與資訊傳遞比例之間的關系; 在空域上，則從人眼視覺系統出發，計算不同塊在感知模型中的價值，將更多碼率分配給人眼更具注意力的區域，

我們有一篇CCFA類論文介紹碼率控制方面的優化：

An Exploration of Lookahead in Frame Bit Allocation and Slice Type Decision,

10.1109/TIP. 2018.2887200 , Zhenyu Liu, Member, IEEE, LiboWang, Xiaobo, Li, and Xiangyang Ji, Member, IEEE

在編碼工具上，S265對傳統的場景切換檢測，幀型別決策，SAO，DEBLOCK， 兩遍編碼，RDOQ等編碼工具演算法做了改進，并實作了長期參考幀等一批編碼工具，

智能碼控是淘系自研的碼率控制演算法，普通ABR或CBR碼率控制為了追求目標碼率，在低復雜度場景浪費了大量碼率，根據人眼主觀質量模型，當psnr高于一定閾值后，再提高質量，人眼無法察覺，只會消耗過多碼字，我們使用機器學習方法，根據17種歷史編碼資訊和待編碼幀的復雜度，預估出待編碼幀在質量閾值以上的量化系數，并限定在ABR目標碼率以下，確保每個幀都能以最合適的碼率編碼，

經過淘寶直播線上驗證，可達到15%的省流，在釘釘直播中使用更是節省了52%的帶寬并降低了62%的推流側卡頓，

由于當前淘寶直播種類的豐富性，各種場景下的紋理，光照，背景，運動程度都是不一樣的，戶外主播經常走動，畫面幀變化幅度頻率高，美妝主播大多坐在室內，光斬訓本上比較偏亮，珠寶類主播主要是拍攝物品，畫面多靜止不動，單一的編碼器配置并不能滿足當前淘寶直播的需求，如何針對內容選擇最佳引數成為業界研究的方向，

在此需求下，我們提出了基于不同場景的編碼引數配置策略，首先，我們通過多個深度學習與機器學習模型對數萬條各種內容的直播視頻進行了資料訓練分類，使用大規模服務器集進行最佳編碼引數搜索，自動化高效地搜索到適合當前視頻編碼的最佳編碼引陣列合，在提升畫質的同時能盡可能地減少碼率消耗，并最終根據編碼引數集進行聚類分為多個引數配置項，通過此方法，我們在淘寶直播里面獲得了7-10%的BDrate收益，在淘拍生產中獲得了大于10%的BDrate收益，

編碼速度優化，實作全量H265

在速度方面，s265添加了快速演算法與工程兩個層次上的優化，

HEVC可以將影像塊從64x64劃分到4x4，同時塊的型別模式激增，備選的編碼模式數量是h264的數倍，塊劃分及模式決策因此成為一個重要的瓶頸，s265從參考塊及畫面紋理獲取先驗資訊, 通過層級預判，提前跳出演算法以及CNN模型輔助決策三步，減少了很大比例的計算量，

我們把CU劃分決策模塊分成兩個步驟，一是紋理強度決策，通過計算CU的紋理梯度來判別平坦塊和復雜塊，如果是平坦塊就直接退出，如果是復雜塊就繼續向下劃分，第一步可以解決大部分劃分決策問題，但是對于模棱兩可的塊，則需要依靠CNN模型來輔助劃分，

我們使用了一個5層網路的小模型把決策的準確度從72%提升到了96%；

這個成果我們在 DCC會議上有相關介紹：

Enhance the HEVC Fast Intra CU Mode Decision Based on Convolutional Neural Network by Corner Power Estimation

Liangliang Chang?, Zhenyu Liu?, Libo Wang ?, Xiaobo Li ? , 2018 Data Compression Conference

我們知道，RDO包含兩個變數，一個是失真，另一個是碼率；

失真的計算是對原圖和重建影像求誤差的平方和，也就會SSE，這里首先要得到重建影像，這是一個相對漫長的計算程序，需要經過運動估計，變換，量化，反變換，反量化，重建等步驟，計算量相當大，

我們注意到DCT變換具有能量不變性，可以在變換后的頻域中直接計算失真，這樣就可以把后面的反變換，反量化，重建，SSE等程序Bypass掉，節省大量計算，通過此方法，可將整個失真估計模塊的速度提升1倍，而bd-psnr損失只有0.023db，

RDO的另一個部分是碼率，

H265在量化后會將殘差系數分成4x4的sub-block，每個子塊包含16個系數一起編碼，編碼內容包含兩個部分，一是系數分布的描述，包括SCF，GTR1，GTR2，對這個部分，我們建立起統計資訊的線性估計模型，根據系數特征估算其大小；另一個部分是非零系數的哥倫布碼字，每個碼字的階數k是不一致的，這里我們假設每個碼字都采用最佳k階編碼，再根據最大碼字的分布，給予一個拖尾系數補償，

通過這項技術，可將碼率估計模塊加速35.6%，而bd-psnr損失只有0.057db，

AZB (All zero block)是全零塊的簡稱，

通過幀內幀間預測后，失真非常小的塊再經過量化殘差系數為0，但事先并不知道量化后系數為全0，還是會經過復雜的RDO計算；

有沒有辦法事先判決它是全零塊？答案是可以，根據率失真理論，失真與Q的平方成正比，可以在預測后用SATD估算失真，當其小于一定閾值后就可以判別為全零塊，

運動搜索是從參考幀尋找最佳匹配塊的程序，包含整像素搜索和分像素搜索，分像素需要做7抽頭或8抽頭插值濾波，計算量大；整像素搜索已經有比較多的快速演算法，但分像素搜索一直沒有什么好的方法，在圖中矩形的整像素周圍，分布著60個分像素點，我們建立二元二次誤差平面方程，用9個整像素點來的預測誤差來求解方程的5個系數，再對方程求偏導，可得到最佳分像素點的位置，只需計算1個1/4像素點，避免其余59個分像素點的計算；

講完運動搜索我們來看一下幀內預測，幀內預測利用當前塊相鄰的上面一行和左邊一列來預測當前塊的像素值；

H265有35種幀內預測模式，其中有33種角度預測，如果對這33都做計算的話代價非常大，

我們采用采用基于貝葉斯模型的快速決策方法，先計算10,18,26三個方向的代價，通過這3個方向的代價分布決策出最優角度是橫向還是豎向，這里就直接把計算量減少一半，再用常規的快速演算法5步法對剩下的17種方向進行計算，得到最佳預測角度，

通過這個方法，我們把33個角度計算減少到9次，提高了該模塊300%的計算速度，

在rdo之外，我們還改進了slicetype決策演算法，動態拉格朗日因子調整演算法，快速deblock和sao決策等，

在工程優化方面我們也添加了多項優化， 首先是C函式優化，我們通過優化流程邏輯，拆分特殊路徑，合并分支，查表，回圈優化等方法給rdoq模塊，系數決議，deblock等模塊帶來了接近一倍的提升；其次針對密集計算的函式我們simd化并優化匯編代碼的執行速度，

在移動端設備上，我們還為S265撰寫了大量armv7和arm64 匯編代碼，相比C版本有至少1倍的提速，在低端手機iphone 6S上實作了720P 30幀每秒的實時編碼，

低時延編碼，畫質不降提升互動能力

在直播中，低時延意味著溝通高效率和高體驗，降延時意義重大，在直播端到端延遲中，編碼延遲占了很大比重，但是編碼延時與與壓縮效率是一對矛盾體，延時越低壓縮效率也隨之下降，經過我們對X264，X265的測驗，在低延時（300ms）模式下，編碼效率比不限定延時降低30%，在零延時模式下，編碼效率比不限定延時降低50%以上，

為了提升低延時和零延時模式下的編碼效率，我們采取了以下手段來優化：

1. Cu-tree的前向短距傳播技術：s265通過對快取長度建模，得到快取長度-時域傳遞關系模型，可以實作很短的快取，仍然保留長快取帶來的質量優勢，測驗結果lookahead4優化后比優化前可以節省13.5%的碼率,有效的降低了編碼延遲，結果示意圖如下，

   

2. Cu-tree后向傳播技術：在零延時模式下，我們沒有前向參考幀可用，但可以借用后向幀來預測傳播代價，通過與短距傳播類似的技術來提升壓縮效率，

3. GPB技術：在零延時模式下由于沒有后向參考幀，傳統B幀已不可用，此時可采用GPB來代替，提高壓縮效率

   

4. WPP并行：幀級并行可以極大提高并行效率但會增加延時，幀內并行的wpp技術，不僅可以充分利用多核cpu的優勢，而且可做到零延時，

   

經過以上多種方法結合，我們S265的低延時（300ms）模式對比不限定延時，壓縮效率僅降低4%，零延時模式下壓縮效率僅降低15%；

高性能解碼器，解決客戶端兼容性問題

解碼面臨的最大問題是兼容性和性能，要解決這里兩個問題，首先需要做硬解碼適配，我們將android，ios硬解h265的支持率提高到了95%和75%，剩下的5%和25%怎么辦？還有web端完全不支持硬解，怎么辦？

這就依賴于我們高性能的解碼器；

我們開發了極致優化的h.265軟解碼器，手工撰寫匯編代碼2.5萬行，將解碼速度提升到ffmpeg的240%，1Mbps 720p h265在小米5手機上解碼速度>240fps，CPU占比控制在20%以下，

許多人覺得優化只是寫寫c和匯編這么簡單，但實際上需要對計算機的體系結構非常了解，

舉一個例子，這是一個block的濾波計算，經過SIMD優化后提高了3倍的速度；

但是我們通過記憶體對齊加載，計算合并，CacheMiss優化，資料預取，多核并行，分支優化，暫存器優化，延遲槽優化，最終達到63倍的提速；

總結

淘寶直播全面使用S265，實作了畫質不降，碼率下降超過50%，直接帶來帶寬成本的下降，同時，卡頓率、秒開資料也因此優化，卡頓vv下降了25%，秒開率絕對值提升了1%，

帶寬壓縮是編碼器一貫追求，S265除了服務淘寶直播之外，還覆寫阿里視頻生態中直播、點播、會議各個業務，節省大量帶寬成本，

1. 優酷長視頻點播，上線S265帶來了大量的碼率節省，目前S265生產的視頻每日播放vv超過1億次，S265還為優酷提供10bit HDR功能支持；

2. 阿里云MTS轉碼，S265在速度和畫質不變的前提下，降低MTS短視頻轉碼碼率，并賦能RTC實時通信業務；

3. 釘釘會議和群直播，S265對比open264 scc模式可以進一步降低一半碼率；

下一代壓縮標準VVC(H.266)已經公布，我們也已經如火如荼的投入到VVC編碼器的建設中，預期在下一年雙十一將有基于VVC的自研編碼器上線，再次降低40%的帶寬成本，屆時大家可以欣賞到更低碼率，更高質量的直播畫質，

? 拓展閱讀

作者|淘系音視頻技術團隊

編輯|橙子君

出品|阿里巴巴新零售淘系技術