1. 前言

??端午節在慕課網看了李超老師的課程關于YUV的講解，這里把所學的內容，加上自己的理解進行了整理加工，在這里做個分享，
??影像有兩種表達方式：RGB和YUV，RGB比較簡單，這里不做贅述，今天重點講YUV，那么既然有了RGB，為什么還需要YUV呢？原因主要有兩個：

• YUV中的Y是亮度信號，英文名叫luma，（順便說一句，亮度的單位是流明），也就是灰階值，可以直接給黑白電視機使用，兼容了黑白電視，所以我們小時候看的無線廣播電視時，同樣的頻道，用黑白電視和彩色電視都能播放，
• YUV中的UV表示色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用于指定像素的顏色，人對于UV的敏感性小于亮度，這樣適當減小UV分量，不影響人的視覺感官，

??所以，采用YUV的設計既兼容了黑白電視，而且編碼程序還可以壓縮UV分量，占用更少的頻寬，因為對UV分量的下采樣方式不同，所以出現了不同的格式，如：YUV4:4:4，YUV4:2:2，YUV4:2:0，我們將會在下文中詳細講解，
??講到這里，我們再引入一個名詞 Y’CbCr，是YUV的一個壓縮版本，不同之處在于Y’CbCr用于數字影像領域，而YUV用于模擬信號領域，我們平時說的MPEG、DVD、攝像機中常說的YUV其實是Y’CbCr，Y’為亮度，Cb,Cr分量代表當前顏色對藍色和紅色的偏移程度，
??這里可能會對剛入門的朋友產品一定的混淆，我們再詳細說明一下，“Y”表示明亮度（Luminance或Luma），也就是灰階值；而“U”和“V”表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用于指定像素的顏色，“亮度”是通過RGB輸入信號來創建的，方法是將RGB信號的特定部分疊加到一起，“色度”則定義了顏色的兩個方面—色調與飽和度，分別用Cr和CB來表示，其中，Cr反映了RGB輸入信號紅色部分與RGB信號亮度值之間的差異，而CB反映的是RGB輸入信號藍色部分與RGB信號亮度值之同的差異; YUV經常有另外的名字,YCbCr ,其中Y與YUV 中的Y含義一致，Cb , Cr同樣都指色彩,，只是在表示方法上不同而已，Cb Cr 就是本來理論上的“分量/色差”的標識，C代表分量(是component的縮寫)Cr、Cb分別對應r(紅)、b(藍)分量信號，Y除了g(綠)分量信號，還疊加了亮度信號，

到這里，我不禁有個問題，顏色空間YUV中，為什么沒有單獨的綠色色差信號輸入？而是把綠色和亮度疊加到了一起，我沒有找到答案，在知乎上看到一個回答感覺比較有道理：
生物學上，人眼有四種細胞，視桿細胞（亮度/黑白）加上紅綠藍三中視錐細胞（極其少數女性有四種視錐細胞），其中，視桿細胞和綠色視錐細胞共用一根視神經，

CbCr分量坐標

2. Y’CbCr詳解

下面我們用實際的圖片來說明Y’CbCr三個分量的直觀體驗，如果輸出Y’CbCr三個分量的值，也就是原圖，如下：

原圖（包含Y'CbCr分量）

下面這張圖是僅包含了Y’分量，可以看出就是一張黑白影像，除了沒有顏色外，不影響觀看圖片，

僅包含Y'分量

下面這張圖是僅包含了Cb分量的圖片，模模糊糊的看到一些藍黃色的色彩，

僅包含Cb分量的圖

下面這張圖是僅包含了Cr分量的圖片，模模糊糊的看到一些紅綠色的色彩，

僅包含Cr分量的圖

3. Y’CbCr的編解碼

圖片編解碼流程

??從上圖我們可知，攝像頭采集后的資料是編碼為RGB格式的，數字顯示幕顯示的時候也是RGB格式的，而中間是把RGB編碼為YUV格式，行程傳輸的，接收后又將YUV解碼為RGB格式進行顯示，有了上述的總體了解后，我們需要探討兩個問題：YUV的采樣問題和YUV與RGB的轉換問題，也就是說RGB用于螢屏影像的展示，YUV用于采集與編碼

3.1 YUV采樣

??YUV的一個優點是色度通道可以具有比Y通道更低的采樣率而不會顯著降低感知質量，稱為A：B：C表示法的符號用于描述U和V相對于Y的采樣率，主要的采樣格式有YUV4:2:0，YUV4:2:2和YUV4:4:4，其中YUV4:2:0是最標準的格式，也是最為廣泛使用的格式，大多數播放器都可以播放YUV4:2:0，

小例子：有一個檔案是MP4的格式，但是播放器確怎么也播放不出來，經過觀察視頻資訊后發現，是YUV4:4:4的格式，然后轉換成YUV4:2:0的MP4檔案就成功播放了，

3.2 RGB轉YUV

??了解了YUV的采樣后，接下去我們研究一下RGB與YUV的轉換，公式如下：
{ Y = 0.299 ? R + 0.587 ? G ′ + 0.114 ? B U = ? 0.147 ? R ? 0.289 ? G + 0.436 ? B = 0.492 ? ( B ? Y ) V = 0.615 ? R ? 0.515 ? G ? 0.100 ? B = 0.877 ? ( R ? Y ) \begin{cases} Y=0.299*R+0.587*G^{'}+0.114*B \\ U=-0.147*R-0.289*G+0.436*B=0.492*(B-Y) \\ V=0.615*R-0.515*G-0.100*B=0.877*(R-Y) \\ \end{cases} ??????Y=0.299?R+0.587?G′+0.114?BU=?0.147?R?0.289?G+0.436?B=0.492?(B?Y)V=0.615?R?0.515?G?0.100?B=0.877?(R?Y)?

在代碼中如果要將RGB進行轉換為YUV，就可以套用上面的公式進行轉換，也可以寫成矩陣的形式：

[ Y U V ] = [ 0.299 0.587 0.114 ? 0.418 ? 0.289 0.437 0.615 ? 0.515 ? 0.100 ] [ R G B ] \left[ \begin{matrix} Y\\U \\V \end{matrix} \right]=\left[ \begin{matrix} 0.299&0.587&0.114\\-0.418&-0.289&0.437\\0.615&-0.515&-0.100 \end{matrix} \right]\left[ \begin{matrix} R\\G\\B \end{matrix} \right] ???YUV????=???0.299?0.4180.615?0.587?0.289?0.515?0.1140.437?0.100???????RGB????

3.3 YUV轉RGB

{ R = Y + 1.140 ? V G = Y ? 0.394 ? U ? 0.581 ? V B = Y + 2.032 ? U \begin{cases} R=Y+1.140*V \\ G=Y-0.394*U-0.581*V \\ B=Y+2.032*U \end{cases} ??????R=Y+1.140?VG=Y?0.394?U?0.581?VB=Y+2.032?U?

在播放視頻的時候，我們需要將YUV的資料轉為RGB格式，就可以采用上面的公式進行轉換，也可以寫成矩陣的形式，

[ R G B ] = [ 1 0 1.140 1 ? 0.395 ? 0.581 1 2.032 0 ] [ Y U V ] \left[ \begin{matrix} R\\G\\B \end{matrix} \right]=\left[ \begin{matrix} 1&0&1.140\\1&-0.395&-0.581\\1&2.032&0\end{matrix} \right]\left[ \begin{matrix} Y\\U\\V\end{matrix} \right] ???RGB????=???111?0?0.3952.032?1.140?0.5810???????YUV????

讀到這里大家可能會有疑惑，怎么突然就得到轉換的矩陣了，其中的系數是怎么推匯出來的？我差了下資料，會設計很多協議，比如：BT601，BT709，BT2020，RP177，NTSC色域等，本文就不展開了，大家記住結論就好，不過這里值得注意的是這里的RGB轉YUV是有損的，這個也不難理解，畢竟因為進行了下采樣了，

思考一個問題：當YUV分量全部為零的時候，螢屏會顯示綠色，這是為什么呢？

3.4 YUV常見格式

• YUV4:4:4 這個和RGB是等價的，一些播放器兼容性問題，無法播放，
• YUV4:2:2
• YUV4:2:0，重點，最標準，應用最廣泛

??YUV4:2:0并不意味著只有Y，Cb兩個分量，而沒有Cr分量，它實際指的是對每行掃描線來說，只有一種色度的分量，它以2:1的抽樣率存盤，相鄰的掃描行存盤不同的色度分量，也就是說，如果一行是4:2:0的話，下一行就是4:0:2，再下一行是4:2:0…以此類推，
??下面通過圖的方式更加清楚的展示說明：

YUV4:4:4格式

YUV4:2:2

??YUV4:2:2模式下，每個格子都對Y分量進行采樣，但是UV分量是每兩個點采一次，UV分量有2:1的壓縮比，

YUV4:2:0

??YUV4:2:0模式下，每個格式都對Y分量進行采樣，但UV分量每兩個點采集一次，相比于YUV4:4:4，UV分量有4:1的壓縮比，我們可以得到以下結論：
{ Y U V = Y ? 1.5 Y U V = R G B / 2 \begin{cases} YUV=Y*1.5 \\ YUV=RGB/2 \end{cases} {YUV=Y?1.5YUV=RGB/2?

因此YUV4:2:0的模式下，資料量是RGB的一半，這個其實也不難理解，上圖左上角四個點中，如果用RGB的話，會采樣4*3=12個點，而YUV4:2:1模式下，只采集了6個點，因此壓縮比就是一半，

3.5 YUV的存盤格式

??這里我們主要關注的是YUV4:2:0的存盤格式，要注意以下幾點：

• 是按照分層進行存盤的，從上圖可知，上面幾層都是Y的資訊，最后兩層分別是U和V的資訊，這樣的存盤格式特別適合于和黑白電視相兼容，黑白電視只需要讀取前面Y相關的資訊即可，
• 每4個Y有一個U或者V，這個我們在上面已經講過，

??實際應用中呢，又更加復雜一些，主要分planar(平面)和packed(打包)兩種：

3.5.1 planar(平面)

I420:YYYYYYYY UU VV => YUV420P
YV12:YYYYYYYY VV UU => YUV420P(IOS)

3.5.2 packed(打包)

NV12:YYYYYYYY UVUV => YUV420SP
NV21:YYYYYYYY VUVU => YUV420SP(Android)

我們可以看到其實這幾種主要區別就是UV的順序不同而已，IOS中用的是YV12，而Android中用的是NV21.

4. YUV實戰

??說完上面的理論知識后，下面我們來進行實戰部分，我們可以執行FFmpeg命令：

ffmepg -i input.mp4 -an -c:v rawvideo -pix_fmt yuv420p out.yuv

其中-a表示audio音頻，-n表示null，合起來就表示沒有音頻，就是把音頻給過濾掉，接下去播放YUV檔案，

ffplay -pix_fmt yuv420p -s 608*368 out.yuv

??下面的命令我們提取Y分量，

ffplay -pix_fmt yuv420p -s 608*368 -vf extractplanes='y' out.yuv

播放Y分量命令，效果就是黑白色的視頻：

ffplay -s 608*368 -vf extract planes='y' out.yuv

5. 參考檔案

• [1] https://blog.csdn.net/weixin_43752854/article/details/84841514
• [2] https://en.wikipedia.org/wiki/YUV