MP4 檔案格式又被稱為 MPEG-4 Part 14，出自 MPEG-4 標準第 14 部分 ，它是一種多媒體格式容器，廣泛用于包裝視頻和音頻資料流、海報、字幕和元資料等，（順便一提，目前流行的視頻編碼格式 AVC/H264 定義在 MPEG-4 Part 10），MP4 檔案格式基于 Apple 公司的 QuickTime 格式，因此，QuickTime File Format Specification 也可以作為我們研究 MP4 的重要參考，

作者：張武星
審核：泰一

Overview

MP4 檔案由 box 組成，每個 box 分為 Header 和 Data，其中 Header 部分包含了 box 的型別和大小，Data 包含了子 box 或者資料，box 可以嵌套子 box，

下圖是一個典型 MP4 檔案的基本結構：

圖中看到 MP4 檔案有幾個主要組成部分：

fytp

File Type Box，一般在檔案的開始位置，描述的檔案的版本、兼容協議等，

moov

Movie Box，包含本檔案中所有媒體資料的宏觀描述資訊以及每路媒體軌道的具體資訊，一般位于 ftyp 之后，也有的視頻放在檔案末尾，注意，當改變 moov 位置時，內部一些值需要重新計算，

mdat

Media Data Box，存放具體的媒體資料，

Moov Insider

MP4 的媒體資料資訊主要存放在 Moov Box 中，是我們需要分析的重點，moov 的主要組成部分如下：

mvhd

Movie Header Box，記錄整個媒體檔案的描述資訊，如創建時間、修改時間、時間度量標尺、可播放時長等，

下圖示例中，可以獲取檔案資訊如時長為 3.637 秒，

udta

User Data Box，自定義資料，

track

Track Box，記錄媒體流資訊，檔案中可以存在一個或多個 track，它們之間是相互獨立的，每個 track 包含以下幾個組成部分：

tkhd

Track Header Box，包含關于媒體流的頭資訊，

下圖示例中，可以看到流資訊如視頻流寬度 720，長度 1280，

mdia

Media Box，這是一個包含 track 媒體資料資訊的 container box，子 box 包括：

• mdhd：Media Header Box，存放視頻流創建時間，長度等資訊，
• hdlr：Handler Reference Box，媒體的播放程序資訊，
• minf：Media Information Box，解釋 track 媒體資料的 handler-specific 資訊，minf 同樣是個 container box，其內部需要關注的內容是 stbl，這也是 moov 中最復雜的部分，

stbl 包含了媒體流每一個 sample 在檔案中的 offset，pts，duration 等資訊，想要播放一個 MP4 檔案，必須根據 stbl 正確找到每個 sample 并送給解碼器，

mdia 展開如下圖所示：

Stbl Insider

Sample Table Box，上文提到 mdia 中最主要的部分是存放檔案中每個 Sample 資訊的 stbl，在決議 stbl 前，我們需要區分 Chunk 和 Sample 這兩個概念，

在 MP4 檔案中，Sample 是一個媒體流的基本單元，例如視頻流的一個 Sample 代表實際的 nal 資料，Chunk 是資料存盤的基本單位，它是一系列 Sample 資料的集合，一個 Chunk 中可以包含一個或多的 Sample，

stbl 用來描述每個 Sample 的資訊，包含以下幾個主要的子 box：

stsd

Sample Description Box，存放解碼必須的描述資訊，

下圖示例中，對于 h264 的視頻流，其具體型別為 avc1，extensions 中存放有 sps，pps 等解碼必要資訊，

stts

Time-to-Sample Box，定義每個 Sample 時長，Time To Sample 的 table entry 布局如下：

• Sample count：sample 個數
• Sample duration：sample 持續時間

持續時間相同的連續的 Sample 可以放到一個 entry 里面，以達到節省空間的目的，

下圖示例中，第 1 個 Sample 時間為 33362 微秒，第 2-11 個 Sample 時間為 33363 微秒：

stss

Sync Sample Box，同步 Sample 表，存放關鍵幀串列，關鍵幀是為了支持隨機訪問，
stss 的 table entry 布局如下：

下圖示例中，該視頻 track 只有一個關鍵幀即第 1 幀：

stsc

Sample-To-Chunk Box，Sample-Chunk 映射表，上文提到 MP4 通常把 Sample 封裝到 Chunk 中，一個 Chunk 可能會包含一個或者幾個 Sample，Sample-To-Chunk Atom 的 table entry 布局如下圖所示：

• First chunk：使用該表項的第一個 chunk 序號，
• Samples per chunk：使用該表項的 chunk 中包含有幾個 sample，
• Sample description ID：使用該表項的 chunk 參考的 stsd 表項序號，

下圖示例中，可以看到該視頻 track 一共有兩個 stsc 表項，Chunk 序列 1-108，每個 Chunk 包含一個 sample，Chunk 序列 109 開始，每個 Chunk 包含兩個 Sample，

stsz

Sample Size Box，指定了每個 Sample 的 size，Sample Size Atom 包含兩 Sample 總數和一張包含了每個 Sample Size 的表，

Sample Size 表的 entry 布局如下圖：

下圖示例中，該視頻流一共有 110 個 Sample，第 1 個 Sample 大小為 42072 位元組，第 2 個 Sample 大小為 7354 個位元組，

stco

Chunk Offset Box，指定了每個 Chunk 在檔案中的位置，這個表是確定每個 Sample 在檔案中位置的關鍵，該表包含了 Chunk 個數和一個包含每個 Chunk 在檔案中偏移位置的表，每個表項的記憶體布局如下：

需要注意，這里 stco 只是指定的每個 Chunk 在檔案中的偏移位置，并沒有給出每個 Sample 在檔案中的偏移，想要獲得每個 Sample 的偏移位置，需要結合 Sample Size box 和 Sample-To-Chunk 計算后取得，

下圖示例中，該視頻流第 1 個 Chunk 在檔案中的偏移為 4750，第 1 個 Chunk 在檔案中的偏移為 47007，

如何計算 Sample 偏移位置

上文提到通過 stco 并不能直接獲取某個 Sample 的偏移位置，下面舉例說明如何獲取某一個 pts 對應的 Sample 在檔案中的位置，大體需要以下步驟：

1. 將 pts 轉換到媒體對應的時間坐標系，
2. 根據 stts 計算某個 pts 對應的 Sample 序號，
3. 根據 stsc 計算 Sample 序號存放在哪個 Chunk 中，
4. 根據 stco 獲取對應 Chunk 在檔案中的偏移位置，
5. 根據 stsz 獲取 Sample 在 Chunk 內的偏移位置并加上第 4 步獲取的偏移，計算出 Sample 在檔案中的偏移，

例如，想要獲取 3.64 秒視頻 Sample 資料在檔案中的位置：

1. 根據 time scale 引數，將 3.64 秒轉換為視頻時間軸對應的 3640000，
2. 遍歷累加下表所示 stts 所有專案，計算得到 3640000 位于第 110 個 Sample，

type    stts
size    224
flags   0
version 0
sample_counts   1,10,1,1,11,1,1,2,1,25,1,1,1,17,1,10,1,1,1,7,1,1,1,1,10,1
sample_deltas   33362,33363,33362,33364,33363,33362,33364,33363,33362,33363,33362,33364,33362,33363,33362,33363,33362,33364,33362,33363,33362,33364,33363,33362,33363,0

3. 查詢下表所示 stsc 所有專案，計算得到第 110 個 Sample 位于第 109 個 Chunk，并且在該 Chunk 中位于第 2 個 Sample，

type    stsc
size    40
flags   0
version 0
first_chunk 1,109
samples_per_chunk   1,2
sample_description_index    1,1

4. 查詢下表所示 stco 所有專案，得到第 109 個 Chunk 在檔案中偏移位置為 1710064，

Property name   Property value
type    stco
size    452
flags   0
version 0
chunk_offsets   4750,47007,54865,61967,75519,88424,105222,117892,133730,149529,165568,182034,194595,210776,225470,240756,255358,270711,285459,300135,315217,330899,347372,363196,376409,394509,407767,424615,438037,455603,469784,487287,505197,519638,536714,553893,567187,584744,599907,615298,630669,645918,662605,678655,693510,708980,724061,738946,754170,771520,787233,800847,816997,832490,847814,862559,877929,898379,911054,925810,943883,956497,974403,991527,1009478,1025198,1041806,1062609,1078401,1091360,1105142,1118748,1132815,1145281,1156966,1171871,1186742,1202760,1218235,1236688,1249330,1263163,1280880,1297903,1313162,1332885,1345726,1359017,1376283,1391401,1405512,1419550,1433644,1452103,1475241,1492689,1511291,1522606,1535368,1559413,1575331,1588853,1609829,1626623,1642798,1658640,1674160,1693972,1710064

5. 查詢下表所示 stsz 所有專案，得到第 109 個 Sample 的 size 為 14808，計算得到 3.64 秒視頻 Sample 資料在檔案中：

offset：1710064 + 14808 = 1724872
size：17930

type    stsz
size    460
flags   0
version 0
sample_sizes    42072,7354,6858,13110,12684,16416,12490,15497,15630,15865,16116,12387,15775,14519,14929,14433,15181,14390,14496,14717,15507,16101,15643,12843,17911,13070,16455,13221,17186,14002,17139,17737,14251,16708,16999,12911,17356,14801,15213,15016,15062,16505,15689,14657,15053,14907,14527,15048,17161,15308,13432,15777,15307,14971,14568,14987,20264,12494,14382,17873,12235,17718,16770,17766,15366,16420,20623,15403,12761,13394,13390,13714,12295,11505,14541,14689,15635,15291,18091,12458,13645,17346,16847,14902,19530,12446,13105,16872,14937,13944,13657,13908,18092,22959,17080,18421,11129,12400,23844,15564,13340,20603,16609,15984,15474,15339,19451,15719,14808,17930
sample_size 0
sample_count    110

• 驗證：用編輯器打開 MP4 檔案，定位到檔案偏移 offset = 1724872 的位置，前 4 位元組值為 0x00004606，在 avcc 中一個 Sample 的前 4 個位元組代表這個包的大小，轉換為十進制是 17926，該值正好等于 size = 17930 減去表示長度的四個位元組，
  

參考資料

在線 MP4 決議工具
QuickTime File Format Specification

「視頻云技術」你最值得關注的音視頻技術公眾號，每周推送來自阿里云一線的實踐技術文章，在這里與音視頻領域一流工程師交流切磋，

標籤：其他

上一篇：docker可視化工具portainer-單機

下一篇：使用 Serverless Wordpress 快速建站，只需三步