人間觀察

歲月催人，時間過的太快了

音視頻編碼解碼就是指通過特定的壓縮/解壓技術，將某個音視頻格式的資料轉換為另一種音視頻格式資料，目前在Android中的音視頻用的最多的就是H264+aac的方式進行編碼和解碼，其實不止Android，H264在整個音視頻領域都是使用最廣泛的編碼方式，H264是新一代的編碼標準，以高壓縮高質量和支持多種網路的流媒體傳輸，當然還有比H264更好的H265編碼，H265是基于H264優化的，

1.H264標準的演進

國際上主流制定視頻編解碼技術的組織有兩個，一個是國際電聯（ITU-T），它制定的標準有H.261、H.263、H.263+、H.264等，
一個是**國際標準化組織（ISO）**它制定的標準有MPEG-1、MPEG-2、MPEG-4等，他們各自發展，隨著時間的推移這兩個基友融在一起了，推出了H.264/MPEG-4 AVC，他們都保留了各自的叫法，所以你在電腦上看視頻檔案（如果是h264編碼的話）的簡介都是H.264/MPEG-4 AVC，但是在代碼中不是h264時是avc，哈哈，簡單了解下h264標準的形成就行，

2.前提

我們為什么要進行編碼呢？這個要搞清楚，因為原始資料太大了，舉個例子比如采集視頻的解析度是720*1280，幀率是30fps，那1s的資料大小是：
720 *1280（位像素）*30（張圖片）/8/1024/1024=3.3mb，如果這1s的資料進行網路傳輸和磁盤保存是非常不合理的，除非電影院的視頻，電影院的視頻都是原始的，一部電影上1000G，好家伙，簡直就是在放高清圖片，666

所以我們要經過壓縮，其中就是h264的壓縮，編碼的時候經過去掉影像內的冗余和保留影像之間的差異的資料進行傳輸/保存，解碼的時候進行還原即可，這就是我們的先輩們努力了10多年的成果，

這篇是理論，盡可能的保留所謂的官方概念，也會加入自己的理解，

3.H264相關概念

h264中有很多很多的概念，這些很重要，下面的3個幀的總結來自有關書籍也加入了自己的理解，如果我只寫自己的理解可能會導致真正意義上的丟失，所以我這里還是保留了，大家可以細細品讀這3個幀的描述，

3.1 幀 Frame

簡單的理解幀就是為視頻或者影片中的每一張畫面，而視頻和影片特效就是由無數張畫面組合而成，每一張畫面都是一幀，

3.2 三種視頻幀

分為I 幀 B幀 P幀，當然是編碼后資料，

3.2.1 I 幀

I 幀是幀內編碼幀，I 幀是完整幀，可以理解為一副畫面的完整保留，當然也不是保留最原始資料，刪掉了人眼不敏感的資料（人眼對色度不敏感對亮度敏感），解碼時只需要本幀資料就可以完成，就可以出來畫面，直播秒開就是這個原理，首幀為I幀，配合云端快取最近的I幀，

I 幀特點：

• 它是一個全幀壓縮編碼幀，它將全幀的影像進行jpeg壓縮編碼
• 既然是完整的影像那所占資料的資訊量比較大
• 解碼時僅用I幀的資料就可以重構完整影像
• 不需要參考其他畫面進行編碼生成
• I 幀是序列gop的基礎幀（第一幀），在一個gop里只有一個I 幀
• I 幀是P幀和B幀的參考幀（其質量直接影響到同組中以后各幀的質量），如果I幀質量不行，那這個序列質量都不行，
• I 幀描述了影像背景和運動主體的詳情

總之，I 幀很nb，I 幀越多說明該視頻畫面變換多越復雜，

3.2.2 P幀-前向預測編碼幀

P幀表示的是這一幀跟之前的一個關鍵幀（或P幀）的差別，解碼時需要之前快取的畫面疊加上本幀定義的差別，生成最侄訓面，（也就是差別幀，P幀沒有完整畫面資料，只有與前一幀的畫面差別的資料），

? P幀的預測與重構：P幀是以 I 幀為參考幀，在 I 幀中找出P幀“某點”的預測值和運動矢量，取預測差值和運動矢量一起傳送，在接收端根據運行矢量從 I 幀找出P幀“某點”的預測值并與差值相加以得到P幀“某點”樣值，從而可得到完整的P幀，
?
P幀的特點：

• P幀是 I 幀后面相隔1~2幀的編碼幀
• P幀采用運動補償的方法傳送它與前面的I或P幀的差值及運動矢量（預測誤差）
• 解碼時必須將i幀中的預測值與預測誤差求和后才能重構完整的P幀影像
• P幀屬于前向預測的幀間編碼，它只參考前面最靠近它的 I 幀或P幀
• 由于P幀是參考幀，它可能造成解碼錯誤的擴散，也就是說如果p幀解碼失敗了，一組內的gop后面的b幀/p幀失敗，它最多也就影響一個gop序列，
• 由于是差值傳送，P幀的壓縮比較高，

總之，p幀就是差別幀，p幀越多，說明畫面變化不多，

3.2.3 B幀-雙向預測內插編碼幀

B幀是雙向差別幀，也就是B幀記錄的是本幀與前后幀的差別，要解碼B幀，不僅要取得之前的快取畫面，還要解碼之后的畫面，通過前后畫面的與本幀資料的疊加取得最終的畫面，B幀壓縮率高，但是解碼時費時間，如果是軟解碼就耗cpu了，

B幀的預測與重構

? B幀以前面的 I 或P幀和后面的P幀為參考幀，“找出”B幀“某點”的預測值和兩個運動矢量，并取預測差值和運動矢量傳送，接收端根據運動矢量在兩個參考幀中“找出（算出）”預測值并與差值求和，得到B幀“某點”樣值，從而可得到完整的B幀，

B幀的特點：

• B幀是由前面的 I 或P幀和后面的P幀進行預測的
• B幀傳送的是它與前面的 I 或P幀和后面的P幀之間的預測誤差及運動矢量
• B幀是雙向預測編碼幀
• B幀壓縮比最高，因為它只反映并參考幀間運動主體的變化情況，預測比較準確
• B幀不是參考幀，不會造成解碼錯誤的擴散

總之，b幀資料較小，b幀越多，視頻越小，

注：I、B、P幀是根據壓縮演算法是人為定義的，一般來說，幀的壓縮率是7（跟JPG差不多），P幀是20，B幀可以達到50，

3.3 GOP/序列

Group of picture(影像組)，
在相鄰幾幅影像畫面中，一般有差別的像素只有10%以內的點,亮度差值變化不超過2%，而色度差值的變化只有1%以內，我們認為這樣的圖可以分到一組，在這樣一組幀中，經過h264編碼后，只保留第一幀的完整資料，其它幀都通過參考上一幀計算出來，我們稱第一幀為IDR／I幀，其它幀我們稱為P／B幀，這樣編碼后的資料幀組我們稱為GOP，GOP如下，圖片來源網路：

當視頻的元素運動變化比較少時，一個序列可以很長，因為運動變化少就代表影像畫面內容的變動很小，所以就可以是一個I幀，然后是P幀B幀，如果變化很大，比如圖片形成的視頻，一個序列可能就比較短了，可能就包含一個i幀，幾個P幀B幀了，

3.4 IDR影像

1個序列的第一個影像叫做IDR影像（立刻重繪影像），IDR影像都是I幀影像，h264引入IDR影像是為了解碼的重新同步，當解碼器解碼到IDR影像時，立刻將參考幀隊列清空，將已經解碼的全部輸出或者拋棄，重新查找下一個引數集，開始解碼下一個新的序列，這樣當錢一個序列出現重大錯誤，在這里可以重新獲得同步的機會，IDR影像之后的影像不會使用IDR之前影像的資料進行解碼，

所以說IDR影像都是I幀，但是I幀不一定是IDR影像，

3.5 DTS和PTS

DTS: Decode Time Stamp,表示讀入記憶體的位元流在什么時候開始送入解碼器中進行解碼，解碼的順序

PTS: Presentation Time Stamp,表示解碼后的視頻幀什么時候被顯示出來，顯示順序，

圖片來源網路：

因為B幀需要前后的幀（前面的 I 或P幀和后面的P幀）才能解出影像，也就是說一組GOP必須解碼出I幀P幀后才能解碼出來B幀，并不是B幀的資料先到了就先解碼b幀的資料

3.6 宏塊/MB（Macroblock）

就是影像中的一小塊區域，h264位了壓縮而采用的一種劃分方法，
H264編碼器為每一幅圖片劃分宏塊，默認是使用 16X16 大小的區域作為一個宏塊，也可以劃分成 8X8 大小，一般比較平坦的影像使用 16X16 大小的宏塊，為了更高的壓縮率在在16X16 的宏塊上分出更小的子塊，子塊的大小可以是 8X16､ 16X8､ 8X8､ 4X8､ 8X4､ 4X4

4.H264的壓縮原理

我個人理解這個代碼實作是很復雜的，發展了10幾年才穩定成熟，不用你手寫實作也不用關注特別細的實作，但是需要了解下它的基本原理，壓縮的程序，采用的方法進行的視頻壓縮，

4.1壓縮技術

簡單點說就是：視頻資料主要分為兩類資料冗余，一個是時間上的冗余，一個是空間上的冗余，分別對其進行壓縮，壓縮技術我們分別叫做幀間壓縮技術和幀內壓縮技術，

時間上： 將一定時間內視頻影像運動變化不大關聯性性很強的進行分組（GOP），然后對這組序列進行編碼，只保留第一幀的完整資料，其它幀都通過參考上一幀計算出來，那第一幀為IDR／I幀，其它幀為P／B幀，這樣編碼后的資料幀組我們稱為GOP，壓縮程序中有運動矢量與補償演算法和劃分宏塊（MB）以及對宏塊的處理壓縮，當下一組視頻內的影像變化很大的時候又是一組新的GOP，反復回圈，這種我們就叫幀間壓縮技術，解決的是時域資料冗余問題，

空間上：對視頻影像劃分宏塊，H264對比較平坦的影像使用 16X16 大小的宏塊，可以在16x16的基礎上更細粒度的劃分，這樣再經過幀內壓縮，得到更高效的資料，這種我們就叫幀內壓縮技術，解決的是空域資料冗余問題，

幀間壓縮和幀內壓縮后還需要進行壓縮，比如：
還有編碼上冗余：根據不同像素值出現的概率不同進行演算法處理
還有視覺冗余：人的視覺系統對某些細節不敏感就可以適當的刪減

基本原理參考這篇文章https://zhuanlan.zhihu.com/p/31056455

介紹了些h264的基本知識和有關概念，h264的知識遠遠不止這些，如有描述不準確歡迎指正，下篇介紹h264資料流格式以及如何在Android中硬解碼播放h264碼流，