一、AVI簡介
AVI (Audio Video Interleaved) 是微軟開發的一種符合RIFF檔案規范的數字音視頻交錯檔案格式 ，AVI格式允許視頻和音頻交錯在一起同步播放，支持256色和RLE壓縮，但AVI檔案并未限定壓縮標準，AVI僅僅是一個容器，用不同壓縮演算法（比如：H.264/MPEG4/MJPEG等）生成的AVI檔案，必須使用相應的解壓縮演算法才能播放出來，比如本章，我們使用的AVI，其音頻資料采用16位線性PCM格式（未壓縮），而視頻資料，則采用MJPEG編碼方式，AVI采用的是RIFF格式編碼，
二、RIFF格式簡介
RIFF（Resource Interchange File Format，資源互換檔案格式）是微軟定義的一種用于管理WINDOWS環境中多媒體資料的檔案格式，波形音頻WAVE，MIDI和數字視頻AVI都采用這種格式存盤，構造RIFF檔案的基本單元叫做資料塊（Chunk），每個資料塊包含3個部分：
1、資料塊標記（或者叫做資料塊的ID， 4位元組）
2、資料塊的大小(4位元組)
3、資料
整個RIFF檔案可以看成一個資料塊，其資料塊ID為"RIFF" ，稱為RIFF塊，一個RIFF檔案中只有一個RIFF塊，RIFF塊中包含一系列的子塊，其中有一種子塊的ID為"LIST"，稱為LIST塊，LIST塊中可以再包含一系列的子塊，但除了LIST塊外的其他所有子塊都不能再包含子塊，
RIFF和LIST塊分別比普通的資料塊多一個被稱為形式型別（Form Type）和串列型別（List Type）的資料域，其組成如下：
- 1、資料塊標記（Chunk ID，4位元組）
- 2、資料塊的大小（4位元組）
- 3、形式型別或者串列型別（ID， 4位元組）
- 4、資料
AVI檔案是目前使用的最復雜的RIFF檔案，它能同時存盤同步表現的音頻視頻資料，AVI的RIFF塊的形式型別（Form Type）是AVI ，它一般包含3個子塊，如下所述： - 1、資訊塊，一個ID為"hdrl"的LIST塊，定義AVI檔案的資料格式，
- 2、資料塊，一個ID為 "movi"的LIST塊，包含AVI的音視頻序列資料，
- 3、索引塊，ID為"idxl"的子塊，定義"movi"LIST塊的索引資料，是可選塊，
LIST塊資訊定義（不含資料域）：
typedef struct
{
u32 ListID; //ListID=='LIST'==0X4c495354
u32 BlockSize; //塊大小(不包含最初的8位元組,也ListID和BlockSize不計算在內)
u32 ListType; //LIST子塊型別:hdrl(資訊塊)/movi(資料塊)
}LIST_HEADER;
三、AVI檔案結構
AVI檔案是由：資訊塊（HeaderList）、資料塊（MovieList）和索引塊（Index Chunk）等三部分組成，
①資訊塊（HeaderList），即ID為“hdrl”的LIST塊，它包含檔案的通用資訊，資料格式，所用的壓縮演算法等，hdrl塊還包括了一系列的子塊，首先是：avih塊，用于記錄AVI的全域資訊，比如資料流數量，視頻影像的寬度和高度等資訊，avih塊（均包含BlockID和BlockSize，下同）的定義如下：
//avih 子塊資訊
typedef struct
{
u32 BlockID; //塊標志:avih==0X61766968
u32 BlockSize; //塊大小(不包含最初的8位元組,即BlockID和BlockSize不算)
u32 SecPerFrame; //視頻幀間隔時間(單位為us)
u32 MaxByteSec; //最大資料傳輸率,位元組/秒
u32 PaddingGranularity; //資料填充的粒度
u32 Flags; //AVI檔案的全域標記，比如是否含有索引塊等
u32 TotalFrame; //檔案總幀數
u32 InitFrames; //為互動格式指定初始幀數（非互動格式應該指定為0）
u32 Streams; //包含的資料流種類個數,通常為2
u32 RefBufSize; //建議讀取本檔案的快取大小（應能容納最大的塊）
u32 Width; //影像寬
u32 Height; //影像高
u32 Reserved[4]; //保留
}AVIH_HEADER;
在avih塊之后，有一個或者多個strl子串列，檔案中有多少種資料流（即前面的Streams），就有多少個strl子串列，每個strl子串列，至少包括一個strh（StreamHeader）塊和一個strf（Stream Format）塊，另有strn（Stream Name）塊(可選，不一定有)，
注意：strl子串列出現的順序與媒體流的編號是對應的（比如：00dc，前面的00，即媒體流編號00），比如第一個strl子串列說明的是第一個流（Stream 0），假設是視頻流，則表征視頻資料塊的四字符碼為“00dc”，第二個strl子串列說明的是第二個流（Stream 1），假設是音頻流，則表征音頻資料塊的四字符碼為“01wb”，以此類推，
②strh子塊，該塊用于說明這個流的頭資訊，strh定義如下側代碼所示：
其中，對我們最有用的即StreamType 和Handler這兩個引數，StreamType用于表示資料流型別；Handler則告訴我們所使用的解碼器，比如MJPG/H264等，
//strh 流頭子塊資訊(strh∈strl)
typedef struct
{
u32 BlockID; //塊標志:strh==0X73747268
u32 BlockSize; //塊大小(不包含最初的8位元組,即BlockID和BlockSize不算)
u32 StreamType; //資料流種類，vids(0X73646976):視頻;
// auds(0X73647561):音頻
u32 Handler; //指定流的處理者，即解碼器，如MJPG/H264等.
u32 Flags; //標記：是否允許這個流輸出？調色板是否變化？
u16 Priority; //流優先級（有多個同型別的流時優先級最高的為默認流）
u16 Language; //音頻的語言代號
u32 InitFrames; //為互動格式指定初始幀數
u32 Scale; //資料量, 視頻每楨的大小或者音頻的采樣大小
u32 Rate; //Scale/Rate=每秒采樣數
u32 Start; //資料流開始播放的位置，單位為Scale
u32 Length; //資料流的資料量，單位為Scale
u32 RefBufSize; //建議使用的緩沖區大小
u32 Quality; //解壓縮質量引數，值越大，質量越好
u32 SampleSize; //音頻的樣本大小
struct //視頻幀所占的矩形
{
short Left;
short Top;
short Right;
short Bottom;
}Frame;
}STRH_HEADER;
注意音頻流，Handler的值為0x01,由strf確定音頻格式，
③strf子塊，strf子塊，需要根據strh子塊的型別而定，
如果strh子塊是視頻資料流(StreamType=“vids”)，則strf子塊定義如下方代碼所示：視頻流的strf包含2個結構，最有用的就是BMP_HEADER結構體，它告訴視頻解析度及其所用編碼器等重要資訊，
//BMP結構體
typedef struct
{
u32 BmpSize; //bmp結構體大小,包含(BmpSize在內)
long Width; //影像寬
long Height; //影像高
u16 Planes; //平面數，必須為1
u16 BitCount; //像素位數,0X0018表示24位
u32 Compression; //壓縮型別，比如:MJPG/H264等
u32 SizeImage; //影像大小
long XpixPerMeter; //水平解析度
long YpixPerMeter; //垂直解析度
u32 ClrUsed; //實際使用了調色板中的顏色數,壓縮格式中不使用
u32 ClrImportant; //重要的顏色
}BMP_HEADER;
//顏色表
typedef struct
{
u8 rgbBlue; //藍色的亮度(值范圍為0-255)
u8 rgbGreen; //綠色的亮度(值范圍為0-255)
u8 rgbRed; //紅色的亮度(值范圍為0-255)
u8 rgbReserved; //保留，必須為0
}AVIRGBQUAD;
//對于strh,如果是視頻流,strf(流格式)使STRH_BMPHEADER塊
typedef struct
{
u32 BlockID; //塊標志,strf==0X73747266
u32 BlockSize; //塊大小(不含前8位元組,即BlockID和BlockSize不算)
BMP_HEADER bmiHeader; //位圖資訊頭
AVIRGBQUAD bmColors[1]; //顏色表
}STRF_BMPHEADER;
如果strh子塊是音頻資料流（StreamType=“auds”），則strf子塊的內容定義如下面代碼所示：
//對于strh,如果是音頻流,strf(流格式)使STRF_WAVHEADER塊
typedef struct
{
u32 BlockID; //塊標志,strf==0X73747266
u32 BlockSize; //塊大小(不包含最初的8位元組,即BlockID和BlockSize不算)
u16 FormatTag; //格式標志:0X0001=PCM,0X0055=MP3...
u16 Channels; //聲道數,一般為2,表示立體聲
u32 SampleRate; //音頻采樣率
u32 BaudRate; //波特率
u16 BlockAlign; //資料塊對齊標志
u16 Size; //該結構大小
}STRF_WAVHEADER;
本結構體對音頻資料解碼起決定性的作用，告訴音頻信號的編碼方式（FormatTag）、聲道數（Channels）和采樣率（SampleRate）等重要資訊，
④資料塊（MovieList），即ID為“movi”的LIST塊，它包含AVI的音視頻序列資料，是這個AVI檔案的主體部分，音視頻資料塊交錯的嵌入在“movi” LIST塊里面，通過標準型別碼進行區分，標準型別碼有如下4種：
1，“##db”（非壓縮視頻幀）
2，“##dc”（壓縮視頻幀）
3，“##pc”（改用新的調色板）
4，“##wb”（音頻幀）
其中##是編號，得根據我們的資料流順序來確定，也就是前面的strl塊，比如，如果第一個strl塊是視頻資料，那么對于視頻幀，標準型別碼就是：00dc，第二個strl塊是音頻資料，那么對于音頻幀，標準型別碼就是：01wb，緊跟著標準型別碼的是4個位元組的資料長度（不包含型別碼和長度引數本身），該長度必須是偶數，如果讀到為奇數，則加1即可，我們讀資料的時候，一般一次性要讀完一個標準型別碼所表征的資料，方便解碼，
⑤索引塊（Index Chunk），最后，緊跟在‘hdrl’串列和‘movi’串列之后的，就是AVI檔案可選的索引塊，這個索引塊為AVI檔案中每一個媒體資料塊進行索引，并且記錄它們在檔案中的偏移（可能相對于‘movi’串列，也可能相對于AVI檔案開頭），
四、JPEG簡介
jpeg格式是目前網路上最流行的影像格式，一般簡稱為jpg格式，是可以把影像檔案壓縮到最小的格式，jpeg格式的圖片在獲得極高的壓縮率的同時能展現十分豐富生動的影像，由于體積小，因此非常適合應用與互聯網，可減少影像的傳輸時間，也普遍應用于需要連續色調的影像，
JPEG圖片格式組成部分：SOI（檔案頭）+APP0（影像識別資訊）+ DQT（定義量化表）+ SOF0（影像基本資訊）+ DHT（定義Huffman表） + DRI（定義重新開始間隔）+ SOS（掃描行開始）+ EOI（檔案尾），
五、libjpeg決議JPEG
libjpeg是一個完全用C語言撰寫的庫，包含了被廣泛使用的JPEG解碼、JPEG編碼和其他的JPEG功能的實作，這個庫由IJG組織（Independent JPEG Group，即獨立JPEG小組）提供，并維護，libjpeg，目前最新版本為v9a，可以在：http://www.ijg.org 這個網站下載到， libjpeg具有穩定、兼容性強和解碼速度較快等優點，
解碼步驟
①分配，并初始化解碼物件結構體（cinfo），
這里做了兩件事：1，錯誤管理，2，初始化解碼物件，首先，錯誤管理使用setjmp和longjmp機制來實作類似C++的例外處理功能，外部代碼可以呼叫longjmp來跳轉到setjmp位置，執行錯誤管理（釋放記憶體，關閉檔案等），這里注冊了my_error_exit函式，來執行錯誤退出處理，另外，使用：my_emit_message函式，來輸出警告資訊，方便除錯代碼，然后，通過呼叫jpeg_create_decompress函式實作初始化解碼物件結構體：cinfo，
②指定資料源，
示例代碼（指： example.c里面的JPEG解碼參考代碼，下同）用的是jpeg_stdio_src函式，
//初始化jpeg解碼資料源
static void jpeg_filerw_src_init(j_decompress_ptr cinfo)
{
if (cinfo->src == NULL) /* first time for this JPEG object? */
{
cinfo->src = (struct jpeg_source_mgr *) (*cinfo->mem->alloc_small)((j_common_ptr)
cinfo, JPOOL_PERMANENT,sizeof(struct jpeg_source_mgr));
}
cinfo->src->init_source = init_source;
cinfo->src->fill_input_buffer = fill_input_buffer;
cinfo->src->skip_input_data = skip_input_data;
cinfo->src->resync_to_restart = jpeg_resync_to_restart; /* use default method */
cinfo->src->term_source = term_source;
cinfo->src->bytes_in_buffer = 0; /* forces fill_input_buffer on first read */
cinfo->src->next_input_byte = NULL; /* until buffer loaded */
}
主要設定了cinfo->src各函式指標，用于獲取外部資料，
其中：
fill_input_buffer用于填充資料給libjpeg
skip_input_data用于跳過一定位元組的資料
③讀取檔案引數，
這個步驟，通過jpeg_read_header函式實作，該函式將讀取JPEG的很多引數，必須在解碼前呼叫，
④設定解碼引數，
示例代碼沒有做任何設定（使用默認值），代碼則做了設定，如下：
cinfo->dct_method = JDCT_IFAST;
cinfo->do_fancy_upsampling = 0;
這里，我們設定了使用快速整型DCT（離散余弦變換），并且設定do_fancy_upsampling的值為假（0），以提高解碼速度，
⑤開始解碼，
示例代碼里面先呼叫jpeg_start_decompress函式，然后計算樣本輸出buffer大小，并為其申請記憶體，為后續讀取解碼后的資料做準備， 不過為了提高速度，就沒做這些處理了，而是直接修改底層函式：h2v1_merged_upsample和h2v2_merged_upsample（在jdmerge.c里面），將輸出的RGB資料轉換成RGB565，送給LCD，為了正確的輸出到LCD，我們在jpeg_start_decompress函式之后，加入如下代碼：
LCD_Set_Window(imgoffx,imgoffy,cinfo->output_width,cinfo->output_height);//設定LCD顯示視窗大小
LCD_WriteRAM_Prepare(); //開始寫入GRAM
解碼時，直接在h2v1_merged_upsample和h2v2_merged_upsample里面丟資料給LCD，實作jpeg解碼輸出到LCD，
⑥回圈讀取資料，
通過jpeg_read_scanlines函式，回圈解碼并讀取jpeg圖片資料，實作jpeg解碼，示例代碼通過put_scanline_someplace函式，輸出到某個地方（如lcd，檔案等），
⑦釋放解碼物件資源，
在所有操作完成后，通過jpeg_destroy_decompress，釋放解碼程序中用到的資源（比如釋放記憶體），
六、STM32視頻播放步驟
1）初始化各外設
要解碼視頻，相關外設肯定要先初始化好，比如：SDIO（驅動SD卡用）、I2S、DMA、WM8978、LCD和按鍵等，這些具體初始化程序，在前面的例程都有介紹，大同小異，這里就不再細說了，
2）讀取AVI檔案，并決議
要解碼，得先讀取avi檔案，按之前的介紹，讀取出音視頻關鍵資訊，音頻引數：編碼方式、采樣率、位數和音頻流型別碼(01wb/00wb)等；視頻引數：編碼方式、幀間隔、圖片尺寸和視頻流型別碼(00dc/01dc)等；共同的：資料流起始地址，有了這些引數，我們便可以初始化音視頻解碼，為后續解碼做好準備，
3）根據決議結果，設定相關引數
根據第2步決議的結果，設定I2S的音頻采樣率和位數，同時要讓視頻顯示在LCD中間區域，得根據圖片尺寸，設定LCD開窗時x，y方向的偏移量，
4）讀取資料流，開始解碼
前面三步完成，就可以正式開始播放視頻了，讀取音視頻流資料（movi塊），根據型別碼，執行音頻/視頻解碼，對于音頻資料(01wb/00wb)，目前只支持未壓縮的PCM資料，所以，直接填充到DMA緩沖區即可，由DMA回圈發送給WM8978，播放音頻，對于視頻資料(00dc/01dc)，只支持MJPG，通過libjpeg解碼，所以將視頻資料按前面所說的幾個步驟解碼即可，
5）解碼完成，釋放資源
最后在檔案讀取完后（或者出錯了），需要釋放申請的記憶體、恢復LCD視窗、關閉定時器、停止I2S播放音樂和關閉檔案等一系列操作，等待下一次解碼 ，
STM32視頻播放就講解到這里啦！！！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/313500.html
標籤：其他
下一篇：機器學習——演算法介紹-4