H264編碼原理

前言

H264是新一代的編碼標準，以高壓縮高質量和支持多種網路的流媒體傳輸著稱，在編碼方面，我理解的他的理論依據是：參照一段時間內影像的統計結果表明，在相鄰幾幅影像畫面中，一般有差別的像素只有10%以內的點,亮度差值變化不超過2%，而色度差值的變化只有1%以內，所以對于一段變化不大影像畫面，我們可以先編碼出一個完整的影像幀A，隨后的B幀就不編碼全部影像，只寫入與A幀的差別，這樣B幀的大小就只有完整幀的1/10或更小！B幀之后的C幀如果變化不大，我們可以繼續以參考B的方式編碼C幀，這樣回圈下去，這段影像我們稱為一個序列（序列就是有相同特點的一段資料），當某個影像與之前的影像變化很大，無法參考前面的幀來生成，那我們就結束上一個序列，開始下一段序列，也就是對這個影像生成一個完整幀A1，隨后的影像就參考A1生成，只寫入與A1的差別內容，
在H264協議里定義了三種幀，完整編碼的幀叫I幀，參考之前的I幀生成的只包含差異部分編碼的幀叫P幀，還有一種參考前后的幀編碼的幀叫B幀，
H264采用的核心演算法是幀內壓縮和幀間壓縮，幀內壓縮是生成I幀的演算法，幀間壓縮是生成B幀和P幀的演算法，

序列的說明
在H264中影像以序列為單位進行組織，一個序列是一段影像編碼后的資料流，以I幀開始，到下一個I幀結束，
一個序列的第一個影像叫做 IDR 影像（立即重繪影像），IDR 影像都是 I 幀影像，H.264 引入 IDR 影像是為了解碼的重同步，當解碼器解碼到 IDR 影像時，立即將參考幀佇列清空，將已解碼的資料全部輸出或拋棄，重新查找引數集，開始一個新的序列，這樣，如果前一個序列出現重大錯誤，在這里可以獲得重新同步的機會，IDR影像之后的影像永遠不會使用IDR之前的影像的資料來解碼，
一個序列就是一段內容差異不太大的影像編碼后生成的一串資料流，當運動變化比較少時，一個序列可以很長，因為運動變化少就代表影像畫面的內容變動很小，所以就可以編一個I幀，然后一直P幀、B幀了，當運動變化多時，可能一個序列就比較短了，比如就包含一個I幀和3、4個P幀，

三種幀的說明

1、I幀
I幀:幀內編碼幀 ，I幀表示關鍵幀，你可以理解為這一幀畫面的完整保留；解碼時只需要本幀資料就可以完成（因為包含完整畫面）
I幀特點:
1)它是一個全幀壓縮編碼幀，它將全幀影像資訊進行JPEG壓縮編碼及傳輸;
2)解碼時僅用I幀的資料就可重構完整影像;
3)I幀描述了影像背景和運動主體的詳情;
4)I幀不需要參考其他畫面而生成;
5)I幀是P幀和B幀的參考幀(其質量直接影響到同組中以后各幀的質量);
6)I幀是幀組GOP的基礎幀(第一幀),在一組中只有一個I幀;
7)I幀不需要考慮運動矢量;
8)I幀所占資料的資訊量比較大，

2、P幀

P幀:前向預測編碼幀，P幀表示的是這一幀跟之前的一個關鍵幀（或P幀）的差別，解碼時需要用之前快取的畫面疊加上本幀定義的差別，生成最侄訓面，（也就是差別幀，P幀沒有完整畫面資料，只有與前一幀的畫面差別的資料）
P幀的預測與重構:P幀是以I幀為參考幀,在I幀中找出P幀“某點”的預測值和運動矢量,取預測差值和運動矢量一起傳送，在接收端根據運動矢量從I幀中找出P幀“某點”的預測值并與差值相加以得到P幀“某點”樣值,從而可得到完整的P幀，
P幀特點:
1)P幀是I幀后面相隔1~2幀的編碼幀;
2)P幀采用運動補償的方法傳送它與前面的I或P幀的差值及運動矢量(預測誤差);
3)解碼時必須將I幀中的預測值與預測誤差求和后才能重構完整的P幀影像;
4)P幀屬于前向預測的幀間編碼，它只參考前面最靠近它的I幀或P幀;
5)P幀可以是其后面P幀的參考幀,也可以是其前后的B幀的參考幀;
6)由于P幀是參考幀,它可能造成解碼錯誤的擴散;
7)由于是差值傳送,P幀的壓縮比較高，

3、B幀

B幀:雙向預測內插編碼幀，B幀是雙向差別幀，也就是B幀記錄的是本幀與前后幀的差別（具體比較復雜，有4種情況，但我這樣說簡單些），換言之，要解碼B幀，不僅要取得之前的快取畫面，還要解碼之后的畫面，通過前后畫面的與本幀資料的疊加取得最終的畫面，B幀壓縮率高，但是解碼時CPU會比較累，
B幀的預測與重構
B幀以前面的I或P幀和后面的P幀為參考幀,“找出”B幀“某點”的預測值和兩個運動矢量,并取預測差值和運動矢量傳送，接收端根據運動矢量在兩個參考幀中“找出(算出)”預測值并與差值求和,得到B幀“某點”樣值,從而可得到完整的B幀，
B幀特點
1）B幀是由前面的I或P幀和后面的P幀來進行預測的;
2）B幀傳送的是它與前面的I或P幀和后面的P幀之間的預測誤差及運動矢量;
3）B幀是雙向預測編碼幀;
4）B幀壓縮比最高,因為它只反映丙參考幀間運動主體的變化情況,預測比較準確;
5）B幀不是參考幀,不會造成解碼錯誤的擴散，

注:I、B、P各幀是根據壓縮演算法的需要，是人為定義的,它們都是實實在在的物理幀，一般來說，I幀的壓縮率是7（跟JPG差不多），P幀是20，B幀可以達到50，可見使用B幀能節省大量空間，節省出來的空間可以用來保存多一些I幀，這樣在相同碼率下，可以提供更好的畫質，

壓縮演算法的說明
h264的壓縮方法:
1.分組:把幾幀影像分為一組(GOP，也就是一個序列),為防止運動變化,幀數不宜取多，
2.定義幀:將每組內各幀影像定義為三種型別,即I幀、B幀和P幀;
3.預測幀:以I幀做為基礎幀,以I幀預測P幀,再由I幀和P幀預測B幀;
4.資料傳輸:最后將I幀資料與預測的差值資訊進行存盤和傳輸，
幀內（Intraframe）壓縮也稱為空間壓縮（Spatial compression），當壓縮一幀影像時，僅考慮本幀的資料而不考慮相鄰幀之間的冗余資訊，這實際上與靜態影像壓縮類似，幀內一般采用有損壓縮演算法，由于幀內壓縮是編碼一個完整的影像，所以可以獨立的解碼、顯示，幀內壓縮一般達不到很高的壓縮，跟編碼jpeg差不多，　　
幀間（Interframe）壓縮的原理是：相鄰幾幀的資料有很大的相關性，或者說前后兩幀資訊變化很小的特點，也即連續的視頻其相鄰幀之間具有冗余資訊,根據這一特性，壓縮相鄰幀之間的冗余量就可以進一步提高壓縮量，減小壓縮比，幀間壓縮也稱為時間壓縮（Temporal compression），它通過比較時間軸上不同幀之間的資料進行壓縮，幀間壓縮一般是無損的，幀差值（Frame differencing）演算法是一種典型的時間壓縮法，它通過比較本幀與相鄰幀之間的差異，僅記錄本幀與其相鄰幀的差值，這樣可以大大減少資料量，
順便說下有損（Lossy ）壓縮和無損（Lossy less）壓縮，無損壓縮也即壓縮前和解壓縮后的資料完全一致，多數的無損壓縮都采用RLE行程編碼演算法，有損壓縮意味著解壓縮后的資料與壓縮前的資料不一致，在壓縮的程序中要丟失一些人眼和人耳所不敏感的影像或音頻資訊,而且丟失的資訊不可恢復，幾乎所有高壓縮的演算法都采用有損壓縮,這樣才能達到低資料率的目標，丟失的資料率與壓縮比有關,壓縮比越小，丟失的資料越多,解壓縮后的效果一般越差，此外,某些有損壓縮演算法采用多次重復壓縮的方式,這樣還會引起額外的資料丟失，