若該文為原創文章，未經允許不得轉載
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/108573195
各位讀者，知識無窮而人力有窮，要么改需求，要么找專業人士，要么自己研究

紅胖子(紅模仿)的博文大全：開發技術集合（包含Qt實用技術、樹莓派、三維、OpenCV、OpenGL、ffmpeg、OSG、單片機、軟硬結合等等）持續更新中…（點擊傳送門）

FFmpeg開發專欄（點擊傳送門）

上一篇：《FFmpeg開發筆記（三）：ffmpeg介紹、windows編譯以及開發環境搭建》
下一篇：敬請期待

前言

??ffmpeg涉及了很多，循序漸進，本篇描述基本的解碼流程，

Demo

?? 在這里插入圖片描述

ffmpeg解碼流程

??ffmpeg的解碼和編碼都遵循其基本的執行流程，
??基本流程如下：
?? 在這里插入圖片描述

步驟一：注冊：

??使用ffmpeg對應的庫，都需要進行注冊，可以注冊子項也可以注冊全部，

步驟二：打開檔案：

??打開檔案，根據檔案名資訊獲取對應的ffmpeg全域背景關系，

步驟三：探測流資訊：

??一定要探測流資訊，拿到流編碼的編碼格式，不探測流資訊則其流編碼器拿到的編碼型別可能為空，后續進行資料轉換的時候就無法知曉原始格式，導致錯誤，

步驟四：查找對應的解碼器

??依據流的格式查找解碼器，軟解碼還是硬解碼是在此處決定的，但是特別注意是否支持硬體，需要自己查找本地的硬體解碼器對應的標識，并查詢其是否支持，普遍操作是，列舉支持檔案后綴解碼的所有解碼器進行查找，查找到了就是可以硬解了（此處，不做過多的討論，對應硬解碼后續會有文章進行進一步研究），
??（注意：解碼時查找解碼器，編碼時查找編碼器，兩者函式不同，不要弄錯了，否則后續能打開但是資料是錯的）

步驟五：打開解碼器

??打開獲取到的解碼器，

步驟六：申請縮放資料格式轉換結構體

??此處特別注意，基本上解碼的資料都是yuv系列格式，但是我們顯示的資料是rgb等相關顏色空間的資料，所以此處轉換結構體就是進行轉換前到轉換后的描述，給后續轉換函式提供轉碼依據，是很關鍵并且非常常用的結構體，

步驟七：申請快取區

??申請一個快取區outBuffer，fill到我們目標幀資料的data上，比如rgb資料，QAVFrame的data上存是有指定格式的資料，且存盤有規則，而fill到outBuffer（自己申請的目標格式一幀快取區），則是我們需要的資料格式存盤順序，
??舉個例子，解碼轉換后的資料為rgb888，實際直接用data資料是錯誤的，但是用outBuffer就是對的，所以此處應該是ffmpeg的fill函式做了一些轉換，
進入回圈解碼：

步驟八：獲取一幀packet

??拿取封裝的一個packet，判斷packet資料的型別進行解碼拿到存盤的編碼資料

步驟九：資料轉換

??使用轉換函式結合轉換結構體對編碼的資料進行轉換，那拿到需要的目標寬度、高度和指定存盤格式的原始資料，

步驟十：自行處理

??拿到了原始資料自行處理，
??不斷回圈，直到拿取pakcet函式成功，但是無法got一幀資料，則代表檔案解碼已經完成，
??幀率需要自己控制回圈，此處只是回圈拿取，可加延遲等，

步驟十一：釋放QAVPacket

??此處要單獨列出是因為，其實很多網上和開發者的代碼：
??在進入回圈解碼前進行了av_new_packet，回圈中未av_free_packet，造成記憶體溢位；
??在進入回圈解碼前進行了av_new_packet，回圈中進行av_free_pakcet，那么一次new對應無數次free，在編碼器上是不符合前后一一對應規范的，
??查看源代碼，其實可以發現av_read_frame時，自動進行了av_new_packet()，那么其實對于packet，只需要進行一次av_packet_alloc()即可，解碼完后av_free_packet，
??執行完后，回傳執行“步驟八：獲取一幀packet”，一次回圈結束，

步驟十二：釋放轉換結構體

??全部解碼完成后，安裝申請順序，進行對應資源的釋放，

步驟十三：關閉解碼/編碼器

??關閉之前打開的解碼/編碼器，

步驟十四：關閉背景關系

??關閉檔案背景關系后，要對之前申請的變數按照申請的順序，依次釋放，
??另附上完成的詳細解碼流程圖：
?? 在這里插入圖片描述

本文章博客地址：https://blog.csdn.net/qq21497936/article/details/108573195

ffmpeg解碼相關變數

AVFormatContext

??AVFormatContext描述了一個媒體檔案或媒體流的構成和基本資訊，位于avformat.h檔案中，

AVInputFormat

??AVInputFormat 是類似COM 介面的資料結構，表示輸入檔案容器格式，著重于功能函式，一種檔案容器格式對應一個AVInputFormat 結構，在程式運行時有多個實體，位于avoformat.h檔案中，

AVDictionary

??AVDictionary 是一個字典集合，鍵值對，用于配置相關資訊，

AVCodecContext

??AVCodecContext是一個描述編解碼器背景關系的資料結構，包含了眾多編解碼器需要的引數資訊，位于avcodec.h檔案中，

AVPacket

??AVPacket是FFmpeg中很重要的一個資料結構，它保存了解復用（demuxer)之后，解碼（decode）之前的資料（仍然是壓縮后的資料）和關于這些資料的一些附加的資訊，如顯示時間戳（pts），解碼時間戳（dts）,資料時長（duration），所在流媒體的索引（stream_index）等等，
??使用前，使用av_packet_alloc()分配，

AVCodec

??AVCodec是存盤編解碼器資訊的結構體，位于avcodec.h檔案中，

AVFrame

??AVFrame中存盤的是經過解碼后的原始資料，在解碼中，AVFrame是解碼器的輸出；在編碼中，AVFrame是編碼器的輸入，
??使用前，使用av_frame_alloc()進行分配，

struct SwsContext

??使用前，使用sws_getContext()進行獲取，主要用于視頻影像的轉換，

ffmpeg解碼流程相關函式原型

av_register_all

void av_register_all(void);

??初始化libavformat并注冊所有muxer、demuxer和協議，如果不呼叫此函式，則可以選擇想要指定注冊支持的哪種格式，通過av_register_input_format()、av_register_output_format()，

avformat_open_input

int avformat_open_input(AVFormatContext **ps,
                        const char *url,
                        AVInputFormat *fmt, 
                        AVDictionary **options);

??打開輸入流并讀取標頭，編解碼器未打開，流必須使用avformat_close_input()關閉，回傳0-成功，<0-失敗錯誤碼，

引數一：指向用戶提供的AVFormatContext（由avformat_alloc_context分配）的指標，
引數二：要打開的流的url
引數三：fmt如果非空，則此引數強制使用特定的輸入格式，否則將自動檢測格式，
引數四：包含AVFormatContext和demuxer私有選項的字典，回傳時，此引數將被銷毀并替換為包含找不到的選項，都有效則回傳為空，

avformat_find_stream_info

int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options);
讀取檢查媒體檔案的資料包以獲取具體的流資訊，如媒體存入的編碼格式，

引數一：媒體檔案背景關系，
引數二：字典，一些配置選項，

avcodec_find_decoder

AVCodec *avcodec_find_decoder(enum AVCodecID id);

??查找具有匹配編解碼器ID的已注冊解碼器，解碼時，已經獲取到了，注冊的解碼器可以通過列舉查看，列舉太多，略，

avcodec_open2

int avcodec_open2(AVCodecContext *avctx, 
                  const AVCodec *codec, 
                  AVDictionary **options);

??初始化AVCodeContext以使用給定的AVCodec，

sws_getContext

struct SwsContext *sws_getContext(int srcW, 
                                  int srcH, 
                                  enum AVPixelFormat srcFormat,
                                  int dstW,
                                  int dstH, 
                                  enum AVPixelFormat dstFormat,
                                  int flags, SwsFilter *srcFilter,
                                  SwsFilter *dstFilter,
                                  const double *param);

??分配并回傳一個SwsContext，需要它來執行sws_scale()進行縮放/轉換操作，

avpicture_get_size

int avpicture_get_size(enum AVPixelFormat pix_fmt, int width, int height);

??回傳存盤具有給定引數的影像的快取區域大小，

引數一：影像的像素格式
引數二：影像的像素寬度
引數三：影像的像素高度

avpicture_fill

int avpicture_fill(AVPicture *picture,
              const uint8_t *ptr,
              enum AVPixelFormat pix_fmt,
              int width,
              int height);

??根據指定的影像、提供的陣列設定資料指標和線條大小引數，

引數一：輸入AVFrame指標，強制轉換為AVPciture即可，
引數二：映射到的快取區，開發者自己申請的存放影像資料的快取區，
引數三：影像資料的編碼格式，
引數四：影像像素寬度，
引數五：影像像素高度，

av_read_frame

int av_read_frame(AVFormatContext *s, AVPacket *pkt);

??回傳流的下一幀，此函式回傳存盤在檔案中的內容，不對有效的幀進行驗證，獲取存盤在檔案中的幀中，并為每個呼叫回傳一個，不會的省略有效幀之間的無效資料，以便給解碼器最大可用于解碼的資訊，
??回傳0是成功，小于0則是錯誤，大于0則是檔案末尾，所以大于等于0是回傳成功，

avcodec_decode_video2

int avcodec_decode_video2(AVCodecContext *avctx,
                          AVFrame *picture,
                          int *got_picture_ptr,
                          const AVPacket *avpkt);

??將大小為avpkt->size from avpkt->data的視頻幀解碼為圖片，一些解碼器可以支持單個avpkg包中的多個幀，解碼器將只解碼第一幀，出錯時回傳負值，否則回傳位元組數，如果沒有幀可以解壓縮，則為0，

引數一：編解碼器背景關系，
引數二：將解碼視頻幀存盤在AVFrame中，
引數三：輸入緩沖區的AVPacket，
引數四：如果沒有幀可以解壓，那么得到的圖片是0，否則，它是非零的，

sws_scale

int sws_scale(struct SwsContext *c,
              const uint8_t *const srcSlice[],
              const int srcStride[],
              int srcSliceY,
              int srcSliceH,
              uint8_t *const dst[],
              const int dstStride[]);

??在srcSlice中縮放影像切片并將結果縮放在dst中切片影像，切片是連續的序列影像中的行，

引數一：以前用創建的縮放背景關系*sws_getContext()，
引數二：包含指向源片段，就是AVFrame的data，
引數三：包含每個平面的跨步的陣列，其實就是AVFrame的linesize，
引數四：切片在源影像中的位置，從開始計數0對應切片第一行的影像，所以直接填0即可，
引數五：源切片的像素高度，
引數六：目標資料地址映像，是目標AVFrame的data，
引數七：目標每個平面的跨步的陣列，就是linesize，

av_free_packet

void av_free_packet(AVPacket *pkt);

??釋放一個包，

avcodec_close

int avcodec_close(AVCodecContext *avctx);

??關閉給定的avcodeContext并釋放與之關聯的所有資料（但不是AVCodecContext本身），

avformat_close_input

void avformat_close_input(AVFormatContext **s);

??關閉打開的輸入AVFormatContext，釋放它和它的所有內容并將*s設定為空，

Demo原始碼

void FFmpegManager::testDecode()
{
//    QString fileName = "test/1.avi";
    QString fileName = "test/1.mp4";

    // ffmpeg相關變數預先定義與分配
    AVFormatContext *pAVFormatContext = 0;          // ffmpeg的全域背景關系，所有ffmpeg操作都需要
    AVInputFormat *pAVInputFormat = 0;              // ffmpeg的輸入格式結構體
    AVDictionary *pAVDictionary = 0;                // ffmpeg的字典option，各種引數給格式編解碼配置引數的
    AVCodecContext *pAVCodecContext = 0;            // ffmpeg編碼背景關系
    AVCodec *pAVCodec = 0;                          // ffmpeg編碼器
    AVPacket *pAVPacket = 0;                        // ffmpag單幀資料包
    AVFrame *pAVFrame = 0;                          // ffmpeg單幀快取
    AVFrame *pAVFrameRGB32 = 0;                     // ffmpeg單幀快取轉換顏色空間后的快取
    struct SwsContext *pSwsContext = 0;             // ffmpag編碼資料格式轉換

    int ret = 0;                                    // 函式執行結果
    int videoIndex = -1;                            // 音頻流所在的序號
    int gotPicture = 0;                             // 解碼時資料是否解碼成功
    int numBytes = 0;                               // 解碼后的資料長度
    uchar *outBuffer = 0;                           // 解碼后的資料存放快取區

    pAVFormatContext = avformat_alloc_context();     // 分配
    pAVPacket = av_packet_alloc();                  // 分配
    pAVFrame = av_frame_alloc();                   // 分配
    pAVFrameRGB32 = av_frame_alloc();             // 分配
    if(!pAVFormatContext || !pAVPacket || !pAVFrame || !pAVFrameRGB32)
    {
        LOG << "Failed to alloc";
        goto END;
    }
    // 步驟一：注冊所有容器和編解碼器（也可以只注冊一類，如注冊容器、注冊編碼器等）
    av_register_all();

    // 步驟二：打開檔案(ffmpeg成功則回傳0)
    LOG << "檔案:" << fileName << "，是否存在：" << QFile::exists(fileName);
    ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), pAVInputFormat, 0);
    if(ret)
    {
        LOG << "Failed";
        goto END;
    }

    // 步驟三：探測流媒體資訊
    // Assertion desc failed at libswscale/swscale_internal.h:668
    // 入坑：因為pix_fmt為空，需要對編碼器背景關系進一步探測
    ret = avformat_find_stream_info(pAVFormatContext, 0);
    if(ret < 0)
    {
        LOG << "Failed to avformat_find_stream_info(pAVCodecContext, 0)";
        goto END;
    }
    // 列印檔案資訊
    LOG << "視頻檔案包含流資訊的數量:" << pAVFormatContext->nb_streams;
    // 在Qt中av_dump_format不會進行命令列輸出
//    av_dump_format(pAVFormatContext, 1, fileName.toUtf8().data(), 0);

    // 步驟三：提取流資訊,提取視頻資訊
    for(int index = 0; index < pAVFormatContext->nb_streams; index++)
    {
        pAVCodecContext = pAVFormatContext->streams[index]->codec;
        switch (pAVCodecContext->codec_type)
        {
        case AVMEDIA_TYPE_UNKNOWN:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_UNKNOWN";
            break;
        case AVMEDIA_TYPE_VIDEO:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_VIDEO";
            videoIndex = index;
            LOG;
            break;
        case AVMEDIA_TYPE_AUDIO:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_AUDIO";
            break;
        case AVMEDIA_TYPE_DATA:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_DATA";
            break;
        case AVMEDIA_TYPE_SUBTITLE:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_SUBTITLE";
            break;
        case AVMEDIA_TYPE_ATTACHMENT:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_ATTACHMENT";
            break;
        case AVMEDIA_TYPE_NB:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_NB";
            break;
        default:
            break;
        }
        // 已經找打視頻品流
        if(videoIndex != -1)
        {
            break;
        }
    }
    if(videoIndex == -1 || !pAVCodecContext)
    {
        LOG << "Failed to find video stream";
        goto END;
    }
    // 步驟四：對找到的視頻流尋解碼器
    pAVCodec = avcodec_find_decoder(pAVCodecContext->codec_id);
    if(!pAVCodec)
    {
        LOG << "Fialed to avcodec_find_decoder(pAVCodecContext->codec_id):"
            << pAVCodecContext->codec_id;
        goto END;
    }

    // 步驟五：打開解碼器
    ret = avcodec_open2(pAVCodecContext, pAVCodec, NULL);
    if(ret)
    {
        LOG << "Failed to avcodec_open2(pAVCodecContext, pAVCodec, pAVDictionary)";
        goto END;
    }
    LOG << pAVCodecContext->width << "x" << pAVCodecContext->height;
    // 步驟六：對拿到的原始資料格式進行縮放轉換為指定的格式高寬大小
    // Assertion desc failed at libswscale/swscale_internal.h:668
    // 入坑：因為pix_fmt為空，需要對編碼器背景關系進一步探測
    pSwsContext = sws_getContext(pAVCodecContext->width,
                                 pAVCodecContext->height,
                                 pAVCodecContext->pix_fmt,
                                 pAVCodecContext->width,
                                 pAVCodecContext->height,
                                 AV_PIX_FMT_RGBA,
                                 SWS_FAST_BILINEAR,
                                 0,
                                 0,
                                 0);
    numBytes = avpicture_get_size(AV_PIX_FMT_RGBA,
                                  pAVCodecContext->width,
                                  pAVCodecContext->height);
    outBuffer = (uchar *)av_malloc(numBytes);
    // pAVFrame32的data指標指向了outBuffer
    avpicture_fill((AVPicture *)pAVFrameRGB32,
                   outBuffer,
                   AV_PIX_FMT_RGBA,
                   pAVCodecContext->width,
                   pAVCodecContext->height);
    // 此處無需分配
    // av_read_frame時他會分配，av_new_packet多此一舉，正好解釋了一次new和多次free的問題
//    av_new_packet(pAVPacket, pAVCodecContext->width * pAVCodecContext->height);
    // 步驟七：讀取一幀資料的資料包
    while(av_read_frame(pAVFormatContext, pAVPacket) >= 0)
    {
        if(pAVPacket->stream_index == videoIndex)
        {
            // 步驟八：對讀取的資料包進行解碼
            ret = avcodec_decode_video2(pAVCodecContext, pAVFrame, &gotPicture, pAVPacket);
            if(ret < 0)
            {
                LOG << "Failed to avcodec_decode_video2(pAVFormatContext, pAVFrame, &gotPicture, pAVPacket)";
                break;
            }
            // 等于0代表拿到了解碼的幀資料
            if(!gotPicture)
            {
                LOG << "no data";
                break;
            }else{
                sws_scale(pSwsContext,
                          (const uint8_t * const *)pAVFrame->data,
                          pAVFrame->linesize,
                          0,
                          pAVCodecContext->height,
                          pAVFrameRGB32->data,
                          pAVFrameRGB32->linesize);
                QImage imageTemp((uchar *)outBuffer,
                                 pAVCodecContext->width,
                                 pAVCodecContext->height,
                                 QImage::Format_RGBA8888);
                QImage image = imageTemp.copy();
                LOG << image.save("1.jpg");
            }
            av_free_packet(pAVPacket);
        }
        QThread::msleep(100);
    }
END:
    LOG << "釋放回收資源";
    if(outBuffer)
    {
        av_free(outBuffer);
        outBuffer = 0;
    }
    if(pSwsContext)
    {
        sws_freeContext(pSwsContext);
        pSwsContext = 0;
        LOG << "sws_freeContext(pSwsContext)";
    }
    if(pAVFrameRGB32)
    {
        av_frame_free(&pAVFrameRGB32);
        pAVFrame = 0;
        LOG << "av_frame_free(pAVFrameRGB888)";
    }
    if(pAVFrame)
    {
        av_frame_free(&pAVFrame);
        pAVFrame = 0;
        LOG << "av_frame_free(pAVFrame)";
    }
    if(pAVPacket)
    {
        av_free_packet(pAVPacket);
        pAVPacket = 0;
        LOG << "av_free_packet(pAVPacket)";
    }
    if(pAVCodecContext)
    {
        avcodec_close(pAVCodecContext);
        pAVCodecContext = 0;
        LOG << "avcodec_close(pAVCodecContext);";
    }
    if(pAVFormatContext)
    {
        avformat_free_context(pAVFormatContext);
        pAVFormatContext = 0;
        LOG << "avformat_free_context(pAVFormatContext)";
    }
}

工程模板v1.1.0

??對應工程模板v1.1.0