H265/HEVC編解碼系列（1）：影像分割（Slice、Tile、CTU）
- 一、Slice 和 Slice Segment
- 二、Tile單元
- 三、CTU、CU
- 參考
一、Slice 和 Slice Segment
??H265和H264類似，圖片也采用了slice的分割方法，一幀圖片可以被分割成一個或者多個slice，每一個slice都可以獨立解碼，不依賴于同張圖片的其他slice，那也就意味著在進行幀內和幀間預測時不能越過slice的邊界，但是在解碼最后環路濾波時，允許濾波器跨越slice邊界進行濾波，
??采用slice分割主要有以下好處：
??第一，魯棒性良好，把一張圖片分成一個個獨立的slice，在解碼時遇到錯誤，也可以實作再同步，減少錯誤蔓延，而代價僅僅是失去了一個slice，
??第二，匹配MTU（Maximum Transmission Unit）大小，這涉及到網路層的概念，網路上發包時，每個包的大小受到限制，把影像分割成slice可以減小打包的大小，
??第三，并行處理，由于每個slice相互獨立的緣故，編碼、解碼以至環路濾波均可以并行處理，加快處理速度，提高效率，
??如下圖，為一張圖片分割后的結果，這張圖片被分割成兩個slice，圖中黑色實線（即Slice Boundary）為slice邊界，可以看到實線下方為一塊完整的區域，而實線上方又被分成了3塊小區域，以虛線分隔，這每一塊小區域稱為片段SS（Slice Segment），即slice又可以分為SS，每個slice的第一塊SS稱為獨立SS（圖中藍色部分），后面的均為依賴SS（圖中未涂色部分）；獨立SS是指它所涉及的句法元素可以由自身確定，依賴SS是指它所涉及的某些句法元素由已解碼的獨立SS推導得到，依賴SS可以共享獨立SS攜帶的一些資訊，預測的程序不可以跨越獨立SS的邊界，但是可以跨越依賴SS的邊界，一個slice中的SS可以互相參考，
??下面的圖中，還可以看到標有數字的小方格，每個SS由這一個個小方格組成，這每一個小方格稱為一個樹形編碼單元CTU（Coding Tree Unit），這類似于H264中的宏塊，有些文章里把這些小方格叫做樹形編碼塊CTB（Coding Tree Block），其實差不多，實際上，一個CTU是由一個亮度（luma）CTB和相應色度（chroma）CTB構成，
二、Tile單元
??H265與H264不同之處在于引入了Tile的概念，PPS（Picture Parameter Set）中tiles_enabled_flag引數指定了是否使用Tile格式，num_tile_columns_minus1、num_tile_rows_ minus1、uniform_spacing_flag、column_width_minus1、row_ height_minus1規定了Tile的結構大小（這些引數以后再說），Tile和slice一樣也是可以單獨解碼，不依賴其他Tile，
??如下圖，一張圖片被分為了九個區域，但是這些區域必須是矩形，而slice是條帶狀，可以看到，Tile是由CTU直接組成，相比于slice的分割方法，Tile的分割方法使得編碼效率更高，因為條帶狀的分割方式使得像素之間的關聯程度大大下降，編解碼的效率大打折扣，同時，slice的傳輸需要加上一個slice header，當碼率較大時，header的開銷無法被忽略，而Tile不需要header，進一步提高了編碼效率，
??細心一點可以注意到，slice中的CTU是以光柵掃描（raster scan）的形式排布的，即從左到右、從上到下；而Tile在劃分為矩形塊后，不僅每個小塊內以光柵掃描方式排布，而且每個矩形塊也是按光柵掃描方式排布，這種掃描方式可以減少運動估計（Motion Estimation）時所需行buffer大小，如下圖所示，虛線矩形框代表的時運動估計的范圍，涂黑的方格為一行參與編碼的CTU，若用公式表達一般raster scan和Tile的掃描方式所占用的運動估計buffer：
RSBuffer = PicW * （2 * SRy + CtuHeight）
TileBuffer = （TileW + 2 * SRx） * （2 * SRy + CtuHeight）
??PicW是影像的寬度，SRy是CTU上下延伸的范圍（圖中綠色雙向箭頭），SRx是CTU左右延伸的范圍（圖中黑色雙向箭頭），CtuHeight為每個CTU的高度，能看到，當PicW大于（TileW + 2 * SRx)時，Tile在做運動估計時將占用更小的記憶體，
??如下圖所示，圖片中使用了Tile和slice結合的分割方法，左圖和右圖均被分為了兩個Tile，中間豎直虛線為分界線，左圖中只劃分了一個slice，一個獨立SS和四個依賴SS（藍色部分為獨立SS，未涂色部分為依賴SS）；而右圖劃分了3個slice，每個slice包含一個獨立SS和一個依賴SS，這兩種劃分方式并不是隨意劃分，而是需要遵循一定規則：
??第一，一個slice/SS中的所有CTU屬于同一個Tile；
??第二，一個Tile中的所有CTU屬于同一個slice/SS，
三、CTU、CU
??之前傳統的編碼（例如H264）均是基于宏塊實作的，對于4:2:0的采樣格式，每個宏塊包含一個16x16大小的色度塊，以及一個8x8大小的亮度塊，而H265提出了CTU的概念，它的尺寸可以由編碼器指定，在影像細節較多的地方可以采用較小的編碼塊，在平坦的地方可以選擇較大的編碼塊，除了CTU，H265還提出了CU（Coding Unit）、PU（Prediction Unit）、TU（Transform Unit），這些后面再說，
??上面說了一個CTU由一個亮度CTB和相應色度CTB構成，因為采樣的格式不同，亮度CTB相同的情況下，色度CTB的大小會不一樣，所以我們只需要關注亮度CTB大小即可，一個CTU所含亮度CTB的大小為NxN，N取值為16、32、64，下圖a即是16x16大小的CTU，b圖是64x64大小的CTU，可以看到，a圖CTU所包含的區域很小，而b圖CTU包含的區域又很大，所以在H265中，大的區域可以以四叉樹的形式繼續往下分割，
??CTU再往下一級叫做CU，和它的老大CTU一樣，CU也是由一個亮度CB（Coding Block）和相應色度CB構成，同樣道理，CTU可以繼續分割，CTB也可以繼續往下分割為更小的CB，上面講到亮度CTB最小為16x16，而分割成的CB最小為8x8，先看一張直觀的圖，很直觀，直觀到應該不用我過多贅述，
??再看一張抽象一點的，四叉樹模型，這圖應該也不難懂，下左圖中的數字就代表了CTU編碼的順序，至于PU、TU后面再補上，文章有錯誤的請指正，共同學習，
參考
- [1] [新一代高效視頻編碼H.265/HEVC原理、標準與實作]
- [2] [High Efficiency Video Coding(Hevc) Algorithms and Architectures]
- [3] [An Overview of Tiles in HEVC, Kiran Misra, Member, IEEE]
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/271906.html
標籤：其他