主頁 > 前端設計 > FFmpeg開發筆記（七）：ffmpeg解碼音頻保存為PCM并使用軟體播放

FFmpeg開發筆記（七）：ffmpeg解碼音頻保存為PCM并使用軟體播放

2020-09-28 22:47:23 前端設計

若該文為原創文章，未經允許不得轉載
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/108799279
各位讀者，知識無窮而人力有窮，要么改需求，要么找專業人士，要么自己研究

紅胖子(紅模仿)的博文大全：開發技術集合（包含Qt實用技術、樹莓派、三維、OpenCV、OpenGL、ffmpeg、OSG、單片機、軟硬結合等等）持續更新中…（點擊傳送門）

FFmpeg和SDL開發專欄（點擊傳送門）

上一篇：《FFmpeg開發筆記（六）：ffmpeg解碼視頻并使用SDL同步時間顯示播放》
下一篇：敬請期待


前言

??本篇解碼音頻，包括從mp3等檔案中抽取音頻流的pcm，從視頻檔案中抽取音頻流的pcm，
??本文章篇幅相對較長，碼字作圖不易，請各位讀者且行且珍惜，


音頻基礎知識

??音頻的幾個關鍵因素請查看：《SDL開發筆記（二）：音頻基礎介紹、使用SDL播放音頻》


Demo

??匯入原始檔案，設定好資料型別、聲道、采樣率
??在這里插入圖片描述

??在這里插入圖片描述
??在這里插入圖片描述

軟體下載地址

??CSDN：https://download.csdn.net/download/qq21497936/12888731
??QQ群：1047134658（點擊“檔案”搜索“audacity”，群內與博文同步更新）


FFmpeg解碼音頻

ffmpeg解碼音頻流程

??ffmpeg解碼音頻轉碼基本流程如下：
??在這里插入圖片描述

步驟一：注冊：

??使用ffmpeg對應的庫，都需要進行注冊，可以注冊子項也可以注冊全部，

步驟二：打開檔案：

??打開檔案，根據檔案名資訊獲取對應的ffmpeg全域背景關系，

步驟三：探測流資訊：

??一定要探測流資訊，拿到流編碼的編碼格式，不探測流資訊則其流編碼器拿到的編碼型別可能為空，后續進行資料轉換的時候就無法知曉原始格式，導致錯誤，

步驟四：查找對應的解碼器

??依據流的格式查找解碼器，軟解碼還是硬解碼是在此處決定的，但是特別注意是否支持硬體，需要自己查找本地的硬體解碼器對應的標識，并查詢其是否支持，普遍操作是，列舉支持檔案后綴解碼的所有解碼器進行查找，查找到了就是可以硬解了（此處，不做過多的討論，對應硬解碼后續會有文章進行進一步研究），
??（注意：解碼時查找解碼器，編碼時查找編碼器，兩者函式不同，不要弄錯了，否則后續能打開但是資料是錯的）

步驟五：打開解碼器

??打開獲取到的解碼器，

步驟六：申請重采樣結構體

??此處特別注意，基本上解碼的資料都是pcm格式，pcm格式也分很多種，若8位整形，無符號8為整形，32位浮點，帶P和不帶P的，不帶P的資料真存盤為LRLRLRLR，帶P的為LLLLRRRR，還有單通道、雙通道和多通道，通道又涉及到了聲道的定位列舉，所以pcm原始資料也多種多樣，對齊進行重弄采樣使其輸出的pcm格式引數特點一致，

步驟七：重采樣初始化

??重采樣結構體設定好后，需要設定生效，

步驟八：解封裝獲取其中一個資料包，

??資料包是封裝在容器中的一個資料包，獲取不到資料則跳轉“步驟十四”

步驟九：分組資料包送往解碼器

??拿取封裝的一個packet后，判斷packet資料的型別進行送往解碼器解碼，

步驟十：從解碼器快取中獲取解碼后的資料

??一個包可能存在多組資料，老的api獲取的是第一個，新的api分開后，可以回圈獲取，直至獲取不到跳轉“步驟十三”

步驟十一：樣本點重采樣

??使用沖殘陽函式結合轉換結構體對編碼的資料進行轉換，拿到重采樣后的音頻原始資料，

步驟十二：自行處理

??拿到了原始資料自行處理，
??回圈解碼跳轉“步驟八”，若步驟八獲取不到資料則執行“步驟十四”

步驟十三：釋放QAVPacket

??此處要單獨列出是因為，其實很多網上和開發者的代碼：
??在進入回圈解碼前進行了av_new_packet，回圈中未av_free_packet，造成記憶體溢位；
??在進入回圈解碼前進行了av_new_packet，回圈中進行av_free_pakcet，那么一次new對應無數次free，在編碼器上是不符合前后一一對應規范的，
??查看源代碼，其實可以發現av_read_frame時，自動進行了av_new_packet()，那么其實對于packet，只需要進行一次av_packet_alloc()即可，解碼完后av_free_packet，
??執行完后，回傳執行“步驟八：獲取一幀packet”，一次回圈結束，

步驟十四：釋放沖重采樣結構體

??全部解碼完成后，按照申請順序，反向依次進行對應資源的釋放，

步驟十五：關閉解碼/編碼器

??關閉之前打開的解碼/編碼器，

步驟十六：關閉背景關系

??關閉檔案背景關系后，要對之前申請的變數按照申請的順序，依次釋放，


ffmpeg解碼音頻相關變數

??與視頻解碼通用變數請參照博文《FFmpeg開發筆記（四）：ffmpeg解碼的基本流程詳解》中的“ffmpeg解碼相關變數”，

SwrContext

??重采樣的結構體，最關鍵的是幾個引數，輸入的采樣頻率、通道布局、資料格式，輸出的采樣頻率、通道布局、資料格式，

ffmpeg解碼音頻流程相關函式原型

??與視頻解碼通用函式原型請參照博文《FFmpeg開發筆記（四）：ffmpeg解碼的基本流程詳解》中的“ffmpeg解碼相關函式原型”，

swr_alloc_set_opts

struct SwrContext *swr_alloc_set_opts(struct SwrContext *s,
                                      int64_t out_ch_layout,
                                      enum AVSampleFormat out_sample_fmt,
                                      int out_sample_rate,
                                      int64_t  in_ch_layout,
                                      enum AVSampleFormat in_sample_fmt,
                                      int  in_sample_rate,
                                      int log_offset,
                                      void *log_ctx);

??分配并設定重采樣的結構體背景關系，

  • 引數一：輸入需要設定的重采樣結構體，如果為空，則會由此函式內部進行分配，
  • 引數二：輸出的通道布局（轉換后的）
  • 引數三：輸出的樣本格式（轉換后的）
    ??在這里插入圖片描述
    ??帶P和不帶P，關系到了AVFrame中的data的資料排列，不帶P，則是LRLRLRLRLR排列，帶P則是LLLLLRRRRR排列，若是雙通道則帶P則意味著data[0]全是L，data[1]全是R（注意：這是采樣點不是位元組），PCM播放器播放的檔案需要的是LRLRLRLR的，
  • 引數四：輸出的采樣率（轉換后的）
  • 引數五：輸入的通道布局（轉換前的）
  • 引數六：輸入的樣本格式（轉換前的）
  • 引數七：輸入的采樣率（轉換前的）
  • 引數八：日志等級，忽略直接0
  • 引數九：日志，忽略直接0

swr_init

int swr_init(struct SwrContext *s);

??初始化采樣器，使采樣器生效，

swr_free

void swr_free(struct SwrContext **s);

??釋放給定的SwrContext并將指標設定為NULL，


ffmpeg3之后的新解碼api解碼函式原型

avcodec_send_packet：ffmpeg3新增解碼發送資料包給解碼器

int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);

??將原始分組資料發送給解碼器，
??在內部，此呼叫將復制相關的AVCodeContext欄位，這些欄位可以影響每個資料包的解碼，并在實際解碼資料包時應用這些欄位，（例如AVCodeContext.skip_frame，這可能會指示解碼器丟棄使用此函式發送的資料包所包含的幀，）
??這個函式可以理解為ffmpeg為多執行緒準備的，將解碼資料幀包送入編碼器理解為一個執行緒，將從編碼器獲取解碼后的資料理解為一個執行緒，

  • 引數一：編解碼器背景關系
  • 引數二：avpkt輸入的AVPacket，通常，這將是一個單一的視頻幀，或幾個完整的音頻幀，資料包的所有權歸呼叫者所有，解碼器不會寫入資料包，解碼器可以創建對分組資料的參考（如果分組沒有被參考計數，則復制它），與舊的API不同，資料包總是被完全消耗掉，如果它包含多個幀（例如某些音頻編解碼器），則需要在發送新資料包之前多次呼叫avcodec_receive_frame()，它可以是NULL（或者資料設定為NULL且大小設定為0的AVPacket）；在這種情況下，它被認為是一個重繪包，它發出流結束的信號，發送第一個重繪包將回傳成功，后續的是不必要的，將回傳AVERROR ou EOF，如果解碼器仍有幀緩沖，它將在發送重繪包后回傳它們，

avcodec_receive_frame：ffmpeg3新增解碼從解碼器獲取解碼后的幀

int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);

??從解碼器回傳解碼輸出資料，這個函式可以理解為ffmpeg為多執行緒準備的，將解碼資料幀包送入編碼器理解為一個執行緒，將從編碼器獲取解碼后的資料理解為一個執行緒，

  • 引數一：編解碼器背景關系
  • 引數二：這將被設定為參考計數的視頻或音頻解碼器分配的幀（取決于解碼器型別），請注意，函式在執行任何其他操作之前總是呼叫av_frame_unref（frame），自己釋放frame，只有最后一幀不釋放，

Demo原始碼

解碼音頻不帶重采樣版本v1.3.0

void FFmpegManager::testDecodeAudio()
{
    QString fileName = "test/1.avi";
//    QString fileName = "test/1.mp4";
//    QString fileName = "E:/testFile2/1.mp3";
    QString outFileName = "E:/1.pcm";
    // ffmpeg相關變數預先定義與分配
    AVFormatContext *pAVFormatContext = 0;          // ffmpeg的全域背景關系，所有ffmpeg操作都需要
    AVCodecContext *pAVCodecContext = 0;            // ffmpeg編碼背景關系
    AVCodec *pAVCodec = 0;                          // ffmpeg編碼器
    AVPacket *pAVPacket = 0;                        // ffmpag單幀資料包
    AVFrame *pAVFrame = 0;                          // ffmpeg單幀快取
    QFile file(outFileName);                        // Qt檔案操作

    int ret = 0;                                    // 函式執行結果
    int audioIndex = -1;                            // 音頻流所在的序號
    int numBytes = 0;

    pAVFormatContext = avformat_alloc_context();    // 分配
    pAVPacket = av_packet_alloc();                  // 分配
    pAVFrame = av_frame_alloc();                    // 分配

    if(!pAVFormatContext || !pAVPacket || !pAVFrame)
    {
        LOG << "Failed to alloc";
        goto END;
    }
    // 步驟一：注冊所有容器和編解碼器（也可以只注冊一類，如注冊容器、注冊編碼器等）
    av_register_all();

    // 步驟二：打開檔案(ffmpeg成功則回傳0)
    LOG << "檔案:" << fileName << "，是否存在：" << QFile::exists(fileName);
//    ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), pAVInputFormat, 0);
    ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), 0, 0);
    if(ret)
    {
        LOG << "Failed";
        goto END;
    }

    // 步驟三：探測流媒體資訊
    ret = avformat_find_stream_info(pAVFormatContext, 0);
    if(ret < 0)
    {
        LOG << "Failed to avformat_find_stream_info(pAVCodecContext, 0)";
        goto END;
    }
    LOG << "視頻檔案包含流資訊的數量:" << pAVFormatContext->nb_streams;

    // 步驟四：提取流資訊,提取視頻資訊
    for(int index = 0; index < pAVFormatContext->nb_streams; index++)
    {
        pAVCodecContext = pAVFormatContext->streams[index]->codec;
        switch (pAVCodecContext->codec_type)
        {
        case AVMEDIA_TYPE_UNKNOWN:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_UNKNOWN";
            break;
        case AVMEDIA_TYPE_VIDEO:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_VIDEO";
            break;
        case AVMEDIA_TYPE_AUDIO:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_AUDIO";
            audioIndex = index;
            break;
        case AVMEDIA_TYPE_DATA:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_DATA";
            break;
        case AVMEDIA_TYPE_SUBTITLE:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_SUBTITLE";
            break;
        case AVMEDIA_TYPE_ATTACHMENT:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_ATTACHMENT";
            break;
        case AVMEDIA_TYPE_NB:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_NB";
            break;
        default:
            break;
        }
        // 已經找打視頻品流
        if(audioIndex != -1)
        {
            break;
        }
    }

    if(audioIndex == -1 || !pAVCodecContext)
    {
        LOG << "Failed to find video stream";
        goto END;
    }
    // 步驟五：對找到的音頻流尋解碼器
    pAVCodec = avcodec_find_decoder(pAVCodecContext->codec_id);
    if(!pAVCodec)
    {
        LOG << "Fialed to avcodec_find_decoder(pAVCodecContext->codec_id):"
            << pAVCodecContext->codec_id;
        goto END;
    }
#if 0
    pAVCodecContext = avcodec_alloc_context3(pAVCodec);
    // 填充CodecContext資訊
    if (avcodec_parameters_to_context(pAVCodecContext,
                                      pAVFormatContext->streams[audioIndex]->codecpar) < 0)
    {
        printf("Failed to copy codec parameters to decoder context!\n");
        goto END;
    }
#endif

    // 步驟六：打開解碼器
    ret = avcodec_open2(pAVCodecContext, pAVCodec, NULL);
    if(ret)
    {
        LOG << "Failed to avcodec_open2(pAVCodecContext, pAVCodec, pAVDictionary)";
        goto END;
    }

    // 列印
    LOG << "解碼器名稱：" <<pAVCodec->name
        << "通道數：" << pAVCodecContext->channels
        << "采樣率：" << pAVCodecContext->sample_rate
        << "采樣格式：" << pAVCodecContext->sample_fmt;

    file.open(QIODevice::WriteOnly | QIODevice::Truncate);

    // 步驟七：讀取一幀資料的資料包
    while(av_read_frame(pAVFormatContext, pAVPacket) >= 0)
    {
        if(pAVPacket->stream_index == audioIndex)
        {
            // 步驟八：將封裝包發往解碼器
            ret = avcodec_send_packet(pAVCodecContext, pAVPacket);
            if(ret)
            {
                LOG << "Failed to avcodec_send_packet(pAVCodecContext, pAVPacket) ,ret =" << ret;
                break;
            }
            // 步驟九：從解碼器回圈拿取資料幀
            while(!avcodec_receive_frame(pAVCodecContext, pAVFrame))
            {
//                for(int index = 0; index < pAVFrame->linesize[0]; index++)
//                {
                    // 入坑一；位元組交錯錯誤，單條音軌是好的，雙軌存入檔案，使用pcm的軟體播放，則默認是LRLRLRLR的方式（采樣點交錯)
//                    file.write((const char *)(pAVFrame->data[0] + index), 1);
//                    file.write((const char *)(pAVFrame->data[1] + index), 1);
//                }
                // 入坑一；位元組交錯錯誤，單條音軌是好的，雙軌存入檔案，使用pcm的軟體播放，則默認是LRLRLRLR的方式（采樣點交錯)
//                file.write((const char *)(pAVFrame->data[0], pAVFrame->linesize[0]);
//                file.write((const char *)(pAVFrame->data[1], pAVFrame->linesize[0]);
                // 輸出為2, S16P格式是2位元組
                numBytes = av_get_bytes_per_sample(pAVCodecContext->sample_fmt);
//                LOG << "numBytes =" << numBytes;
                /*
                    P表示Planar（平面），其資料格式排列方式為 (特別記住，該處是以點nb_samples采樣點來交錯，不是以位元組交錯）:
                    LLLLLLRRRRRRLLLLLLRRRRRRLLLLLLRRRRRRL...（每個LLLLLLRRRRRR為一個音頻幀）
                    而不帶P的資料格式（即交錯排列）排列方式為：
                    LRLRLRLRLRLRLRLRLRLRLRLRLRLRLRLRLRLRL...（每個LR為一個音頻樣本）
                */
                // 使用命令列提取pcm ffmpeg.exe -i 1.mp3 -f s16le -ar 44100 -ac 2 -acodec pcm_s16le D:/2.pcm
                for (int index = 0; index < pAVFrame->nb_samples; index++)
                {
                    for (int channel = 0; channel < pAVCodecContext->channels; channel++)  // 交錯的方式寫入, 大部分float的格式輸出
                    {
                        file.write((char *)pAVFrame->data[channel] + numBytes * index, numBytes);
                    }
                }
                av_free_packet(pAVPacket);
            }
        }
    }
    file.close();
END:
    LOG << "釋放回收資源";
    if(pAVFrame)
    {
        av_frame_free(&pAVFrame);
        pAVFrame = 0;
        LOG << "av_frame_free(pAVFrame)";
    }
    if(pAVPacket)
    {
        av_free_packet(pAVPacket);
        pAVPacket = 0;
        LOG << "av_free_packet(pAVPacket)";
    }
    if(pAVCodecContext)
    {
        avcodec_close(pAVCodecContext);
        pAVCodecContext = 0;
        LOG << "avcodec_close(pAVCodecContext);";
    }
    if(pAVFormatContext)
    {
        avformat_close_input(&pAVFormatContext);
        avformat_free_context(pAVFormatContext);
        pAVFormatContext = 0;
        LOG << "avformat_free_context(pAVFormatContext)";
    }
}

解碼音頻重采樣版本v1.3.1

void FFmpegManager::testDecodeAudioForPcm()
{
//    QString fileName = "test/1.avi";
    QString fileName = "E:/testFile/3.mp4";
//    QString fileName = "E:/testFile2/1.mp3";

    QString outFileName = "D:/1.pcm";

    AVFormatContext *pAVFormatContext = 0;          // ffmpeg的全域背景關系，所有ffmpeg操作都需要
    AVCodecContext *pAVCodecContext = 0;            // ffmpeg編碼背景關系
    AVCodec *pAVCodec = 0;                          // ffmpeg編碼器
    AVPacket *pAVPacket = 0;                        // ffmpag單幀資料包
    AVFrame *pAVFrame = 0;                          // ffmpeg單幀快取
    SwrContext *pSwrContext = 0;                    // ffmpeg音頻轉碼
    QFile file(outFileName);                        // Qt檔案操作

    int ret = 0;                                    // 函式執行結果
    int audioIndex = -1;                            // 音頻流所在的序號
    int numBytes = 0;
    uint8_t * outData[2] = {0};
    int dstNbSamples = 0;                           // 解碼目標的采樣率

    int outChannel = 0;                             // 重采樣后輸出的通道
    AVSampleFormat outFormat = AV_SAMPLE_FMT_NONE;  // 重采樣后輸出的格式
    int outSampleRate = 0;                          // 重采樣后輸出的采樣率

    pAVFormatContext = avformat_alloc_context();    // 分配
    pAVPacket = av_packet_alloc();                  // 分配
    pAVFrame = av_frame_alloc();                    // 分配

    if(!pAVFormatContext || !pAVPacket || !pAVFrame)
    {
        LOG << "Failed to alloc";
        goto END;
    }
    // 步驟一：注冊所有容器和編解碼器（也可以只注冊一類，如注冊容器、注冊編碼器等）
    av_register_all();

    // 步驟二：打開檔案(ffmpeg成功則回傳0)
    LOG << "檔案:" << fileName << "，是否存在：" << QFile::exists(fileName);
//    ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), pAVInputFormat, 0);
    ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), 0, 0);
    if(ret)
    {
        LOG << "Failed";
        goto END;
    }

    // 步驟三：探測流媒體資訊
    ret = avformat_find_stream_info(pAVFormatContext, 0);
    if(ret < 0)
    {
        LOG << "Failed to avformat_find_stream_info(pAVCodecContext, 0)";
        goto END;
    }
    LOG << "視頻檔案包含流資訊的數量:" << pAVFormatContext->nb_streams;

    // 步驟四：提取流資訊,提取視頻資訊
    for(int index = 0; index < pAVFormatContext->nb_streams; index++)
    {
        pAVCodecContext = pAVFormatContext->streams[index]->codec;
        switch (pAVCodecContext->codec_type)
        {
        case AVMEDIA_TYPE_UNKNOWN:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_UNKNOWN";
            break;
        case AVMEDIA_TYPE_VIDEO:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_VIDEO";
            break;
        case AVMEDIA_TYPE_AUDIO:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_AUDIO";
            audioIndex = index;
            break;
        case AVMEDIA_TYPE_DATA:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_DATA";
            break;
        case AVMEDIA_TYPE_SUBTITLE:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_SUBTITLE";
            break;
        case AVMEDIA_TYPE_ATTACHMENT:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_ATTACHMENT";
            break;
        case AVMEDIA_TYPE_NB:
            LOG << "流序號:" << index << "型別為:" << "AVMEDIA_TYPE_NB";
            break;
        default:
            break;
        }
        // 已經找打視頻品流
        if(audioIndex != -1)
        {
            break;
        }
    }

    if(audioIndex == -1 || !pAVCodecContext)
    {
        LOG << "Failed to find video stream";
        goto END;
    }
    // 步驟五：對找到的音頻流尋解碼器
    pAVCodec = avcodec_find_decoder(pAVCodecContext->codec_id);
    if(!pAVCodec)
    {
        LOG << "Fialed to avcodec_find_decoder(pAVCodecContext->codec_id):"
            << pAVCodecContext->codec_id;
        goto END;
    }
#if 0
    pAVCodecContext = avcodec_alloc_context3(pAVCodec);
    // 填充CodecContext資訊
    if (avcodec_parameters_to_context(pAVCodecContext,
                                      pAVFormatContext->streams[audioIndex]->codecpar) < 0)
    {
        printf("Failed to copy codec parameters to decoder context!\n");
        goto END;
    }
#endif

    // 步驟六：打開解碼器
    ret = avcodec_open2(pAVCodecContext, pAVCodec, NULL);
    if(ret)
    {
        LOG << "Failed to avcodec_open2(pAVCodecContext, pAVCodec, pAVDictionary)";
        goto END;
    }

    // 列印
    LOG << "解碼器名稱：" <<pAVCodec->name << endl
        << "通道數：" << pAVCodecContext->channels << endl
        << "通道布局：" << av_get_default_channel_layout(pAVCodecContext->channels) << endl
        << "采樣率：" << pAVCodecContext->sample_rate << endl
        << "采樣格式：" << pAVCodecContext->sample_fmt;
#if 1
    outChannel = 2;
    outSampleRate = 44100;
    outFormat = AV_SAMPLE_FMT_S16P;
#endif
#if 0
    outChannel = 2;
    outSampleRate = 48000;
    outFormat = AV_SAMPLE_FMT_FLTP;
#endif
    LOG << "to" << endl
        << "通道數：" << outChannel << endl
        << "通道布局：" << av_get_default_channel_layout(outChannel) << endl
        << "采樣率：" << outSampleRate << endl
        << "采樣格式：" << outFormat;
    // 步驟七：獲取音頻轉碼器并設定采樣引數初始化
    // 入坑二：通道布局與通道資料的列舉值是不同的，需要轉換
    pSwrContext = swr_alloc_set_opts(0,                                 // 輸入為空，則會分配
                                     av_get_default_channel_layout(outChannel),
                                     outFormat,                         // 輸出的采樣頻率
                                     outSampleRate,                     // 輸出的格式
                                     av_get_default_channel_layout(pAVCodecContext->channels),
                                     pAVCodecContext->sample_fmt,       // 輸入的格式
                                     pAVCodecContext->sample_rate,      // 輸入的采樣率
                                     0,
                                     0);
    ret = swr_init(pSwrContext);
    if(ret < 0)
    {
        LOG << "Failed to swr_init(pSwrContext);";
        goto END;
    }

    file.open(QIODevice::WriteOnly | QIODevice::Truncate);

    outData[0] = (uint8_t *)av_malloc(1152 * 8);
    outData[1] = (uint8_t *)av_malloc(1152 * 8);

    // 步驟七：讀取一幀資料的資料包
    while(av_read_frame(pAVFormatContext, pAVPacket) >= 0)
    {
        if(pAVPacket->stream_index == audioIndex)
        {
            // 步驟八：將封裝包發往解碼器
            ret = avcodec_send_packet(pAVCodecContext, pAVPacket);
            if(ret)
            {
                LOG << "Failed to avcodec_send_packet(pAVCodecContext, pAVPacket) ,ret =" << ret;
                break;
            }
            // 步驟九：從解碼器回圈拿取資料幀
            while(!avcodec_receive_frame(pAVCodecContext, pAVFrame))
            {
                // nb_samples并不是每個包都相同，遇見過第一個包為47，第二個包開始為1152的
//                LOG << pAVFrame->nb_samples;
                // 步驟十：獲取每個采樣點的位元組大小
                numBytes = av_get_bytes_per_sample(outFormat);
                // 步驟十一：修改采樣率引數后，需要重新獲取采樣點的樣本個數
                dstNbSamples = av_rescale_rnd(pAVFrame->nb_samples,
                                              outSampleRate,
                                              pAVCodecContext->sample_rate,
                                              AV_ROUND_ZERO);
                // 步驟十二：重采樣
                swr_convert(pSwrContext,
                            outData,
                            dstNbSamples,
                            (const uint8_t **)pAVFrame->data,
                            pAVFrame->nb_samples);
                // 第一次顯示
                static bool show = true;
                if(show)
                {
                    LOG << numBytes << pAVFrame->nb_samples << "to" << dstNbSamples;
                    show = false;
                }
                // 步驟十四：使用LRLRLRLRLRL（采樣點為單位，采樣點有幾個位元組，交替存盤到檔案，可使用pcm播放器播放）
                for (int index = 0; index < dstNbSamples; index++)
                {
                    for (int channel = 0; channel < pAVCodecContext->channels; channel++)  // 交錯的方式寫入, 大部分float的格式輸出
                    {
                        //  用于原始檔案jinxin跟對比
//                        file.write((char *)pAVFrame->data[channel] + numBytes * index, numBytes);
                        file.write((char *)outData[channel] + numBytes * index, numBytes);
                    }
                }
                av_free_packet(pAVPacket);
            }
        }
    }
    file.close();
END:
    LOG << "釋放回收資源";
    if(outData[0] && outData[1])
    {
        av_free(outData[0]);
        av_free(outData[1]);
        outData[0] = 0;
        outData[1] = 0;
        LOG << "av_free(outData[0])";
        LOG << "av_free(outData[1])";
    }
    if(pSwrContext)
    {
        swr_free(&pSwrContext);
        pSwrContext = 0;
    }
    if(pAVFrame)
    {
        av_frame_free(&pAVFrame);
        pAVFrame = 0;
        LOG << "av_frame_free(pAVFrame)";
    }
    if(pAVPacket)
    {
        av_free_packet(pAVPacket);
        pAVPacket = 0;
        LOG << "av_free_packet(pAVPacket)";
    }
    if(pAVCodecContext)
    {
        avcodec_close(pAVCodecContext);
        pAVCodecContext = 0;
        LOG << "avcodec_close(pAVCodecContext);";
    }
    if(pAVFormatContext)
    {
        avformat_close_input(&pAVFormatContext);
        avformat_free_context(pAVFormatContext);
        pAVFormatContext = 0;
        LOG << "avformat_free_context(pAVFormatContext)";
    }
}

工程模板v1.3.0、v1.3.1

??對應工程模板v1.3.0：增加解碼音頻裸存pcmDemo
??對應工程模板v1.3.1：增加解碼音頻重采樣存pcmDemo


入坑

入坑一：v1.3.0輸出的pcm檔案音頻播放聲音變了

原因

??存檔案存錯了，入坑一；位元組交錯錯誤，單條音軌是好的，雙軌存入檔案，使用pcm的軟體播放，則默認是LRLRLRLR的方式（采樣點交錯)，
分析音頻檔案如下：
??在這里插入圖片描述
??在這里插入圖片描述

解決

??在這里插入圖片描述

入坑二：v1.3.1輸出的pcm檔案音頻播放聲音過快

原因

??通道布局與通道資料的列舉值是不同的，需要轉換

解決

??在這里插入圖片描述

入坑三：v1.3.1輸出的pcm檔案音頻降低采樣率出現滴答的聲音

原因

??重采樣之后，采樣率不同了，那么對應的時間分片的資料包是相同的，那么很明顯，采樣率低了，則資料應該減少，時間是一樣長的，問題就處在轉換函式需要計算一次采樣率變了之后的實際采樣點，關系到其輸出的音頻采樣點資料，否則長了還好說，短了的話，存入更多就是錯誤資料，自然就出現聲音不對，

解決

??在這里插入圖片描述

入坑四：v1.3.1輸出的pcm檔案較短

原因

??解碼mp4封裝時，獲取到的第一個AVFrame的nb_samples不同，第一幀尾32，本想做動態分布，結果踩坑.

解決

??在最前面開辟認為的最大快取空間，如下：
??在這里插入圖片描述


上一篇：《FFmpeg開發筆記（六）：ffmpeg解碼視頻并使用SDL同步時間顯示播放》
下一篇：敬請期待


原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/108799279

轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/135714.html

標籤：其他

上一篇：TD-SCDMA與TD-LTE的切換

下一篇：WebRTC如何通過SDP資訊設定音頻碼率

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C＃(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • vue移動端上拉加載

    可能做得過于簡單或者比較low，請各位大佬留情，一起探討技術 ......

    uj5u.com 2020-09-10 04:38:07 more
  • 優美網站首頁，頂部多層導航

    一個個人用的瀏覽器首頁，可以把一下常用的網站放在這里，平常打開會比較方便。 第一步，HTML代碼 <script src=https://www.cnblogs.com/szharf/p/"js/jquery-3.4.1.min.js"></script> <div id="navigate"> <ul> <li class="labels labels_1"> ......

    uj5u.com 2020-09-10 04:38:47 more
  • 頁面為要加<!DOCTYPE html>

    最近因為寫一個js函式，需要用到$(window).height(); 由于手寫demo的時候，過于自信，其實對前端方面的認識也不夠體系，用文本檔案直接敲出來的html代碼，第一行沒有加上<!DOCTYPE html> 導致了$(window).height();的結果直接是整個document的高 ......

    uj5u.com 2020-09-10 04:38:52 more
  • WordPress網站程式手動升級要做好資料備份

    WordPress博客網站程式在進行升級前，必須要做好網站資料的備份，這個問題良家佐言是遇見過的；在剛開始接觸WordPress博客程式的時候，因為升級問題和博客網站的修改的一些嘗試，良家佐言是吃盡了苦頭。因為購買的是西部數碼的空間和域名，每當佐言把自己的WordPress博客網站搞到一塌糊涂的時候 ......

    uj5u.com 2020-09-10 04:39:30 more
  • WordPress程式不能升級為5.4.2版本的原因

    WordPress是一款個人博客系統，受到英文博客愛好者和中文博客愛好者的追捧，并逐步演化成一款內容管理系統軟體；它是使用PHP語言和MySQL資料庫開發的,用戶可以在支持PHP和MySQL資料庫的服務器上使用自己的博客。每一次WordPress程式的更新，就會牽動無數WordPress愛好者的心， ......

    uj5u.com 2020-09-10 04:39:49 more
  • 使用CSS3的偽元素進行首字母下沉和首行改變樣式

    網頁中常見的一種效果，首字改變樣式或者首行改變樣式，效果如下圖。 代碼： <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, ......

    uj5u.com 2020-09-10 04:40:09 more
  • 關于a標簽的講解

    什么是a標簽？ <a> 標簽定義超鏈接，用于從一個頁面鏈接到另一個頁面。 <a> 元素最重要的屬性是 href 屬性，它指定鏈接的目標。 a標簽的語法格式：<a href=https://www.cnblogs.com/summerxbc/p/"指定要跳轉的目標界面的鏈接">需要展示給用戶看見的內容</a> a標簽 在所有瀏覽器中，鏈接的默認外觀如下： 未被訪問的鏈接帶 ......

    uj5u.com 2020-09-10 04:40:11 more
  • 前端輪播圖

    在需要輪播的頁面是引入swiper.min.js和swiper.min.css swiper.min.js地址： 鏈接：https://pan.baidu.com/s/15Uh516YHa4CV3X-RyjEIWw 提取碼：4aks swiper.min.css地址 鏈接：https://pan.b ......

    uj5u.com 2020-09-10 04:40:13 more
  • 如何設定html中的背景圖片（全屏顯示，且不拉伸）

    1 <style>2 body{background-image:url(https://uploadbeta.com/api/pictures/random/?key=BingEverydayWallpaperPicture); 3 background-size:cover;background ......

    uj5u.com 2020-09-10 04:40:16 more
  • Java學習——HTML詳解（上）

    HTML詳解 初識HTML Hyper Text Markup Language（超文本標記語言） 1 <!--DOCTYPE:告訴瀏覽器我們要使用什么規范--> 2 <!DOCTYPE html> 3 <html lang="en"> 4 <head> 5 <!--meta 描述性的標簽，描述一些 ......

    uj5u.com 2020-09-10 04:40:33 more
最新发布
  • 我的第一個NPM包:panghu-planebattle-esm(胖虎飛機大戰)使用說明

    好家伙,我的包終于開發完啦 歡迎使用胖虎的飛機大戰包!! 為你的主頁添加色彩 這是一個有趣的網頁小游戲包,使用canvas和js開發 使用ES6模塊化開發 效果圖如下: (覺得圖片太sb的可以自己改) 代碼已開源!! Git: https://gitee.com/tang-and-han-dynas ......

    uj5u.com 2023-04-20 07:59:23 more
  • 生產事故-走近科學之消失的JWT

    入職多年，面對生產環境，盡管都是小心翼翼，慎之又慎，還是難免捅出簍子。輕則滿頭大汗，面紅耳赤。重則系統停擺，損失資金。每一個生產事故的背后，都是寶貴的經驗和教訓，都是專案成員的血淚史。為了更好地防范和遏制今后的各類事故，特開此專題，長期更新和記錄大大小小的各類事故。有些是親身經歷，有些是經人耳傳口授 ......

    uj5u.com 2023-04-18 07:55:04 more
  • 記錄--Canvas實作打飛字游戲

    這里給大家分享我在網上總結出來的一些知識，希望對大家有所幫助 打開游戲界面，看到一個畫面簡潔、卻又富有挑戰性的游戲。螢屏上，有一個白色的矩形框，里面不斷下落著各種單詞，而我需要迅速地輸入這些單詞。如果我輸入的單詞與螢屏上的單詞匹配，那么我就可以獲得得分；如果我輸入的單詞錯誤或者時間過長，那么我就會輸 ......

    uj5u.com 2023-04-04 08:35:30 more
  • 了解 HTTP 看這一篇就夠

    在學習網路之前，了解它的歷史能夠幫助我們明白為何它會發展為如今這個樣子，引發探究網路的興趣。下面的這張圖片就展示了“互聯網”誕生至今的發展歷程。 ......

    uj5u.com 2023-03-16 11:00:15 more
  • 藍牙-低功耗中心設備

    //11.開啟藍牙配接器 openBluetoothAdapter //21.開始搜索藍牙設備 startBluetoothDevicesDiscovery //31.開啟監聽搜索藍牙設備 onBluetoothDeviceFound //30.停止監聽搜索藍牙設備 offBluetoothDevi ......

    uj5u.com 2023-03-15 09:06:45 more
  • canvas畫板（滑鼠和觸摸）

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title>canves</title> <style> #canvas { cursor:url(../images/pen.png),crosshair; } #canvasdiv{ bo ......

    uj5u.com 2023-02-15 08:56:31 more
  • 手機端H5 實作自定義拍照界面

    手機端 H5 實作自定義拍照界面也可以使用 MediaDevices API 和 <video> 標簽來實作，和在桌面端做法基本一致。 首先，使用 MediaDevices.getUserMedia() 方法獲取攝像頭媒體流，并將其傳遞給 <video> 標簽進行渲染。 接著，使用 HTML 的 < ......

    uj5u.com 2023-01-12 07:58:22 more
  • 記錄--短視頻滑動播放在 H5 下的實作

    這里給大家分享我在網上總結出來的一些知識，希望對大家有所幫助 短視頻已經無數不在了，但是主體還是使用 app 來承載的。本文講述 H5 如何實作 app 的視頻滑動體驗。 無聲勝有聲，一圖頂百辯，且看下圖： 網址鏈接（需在微信或者手Q中瀏覽） 從上圖可以看到，我們主要實作的功能也是本文要講解的有： ......

    uj5u.com 2023-01-04 07:29:05 more
  • 一文讀懂 HTTP/1 HTTP/2 HTTP/3

    從 1989 年萬維網（www）誕生，HTTP（HyperText Transfer Protocol）經歷了眾多版本迭代，WebSocket 也在期間萌芽。1991 年 HTTP0.9 被發明。1996 年出現了 HTTP1.0。2015 年 HTTP2 正式發布。2020 年 HTTP3 或能正... ......

    uj5u.com 2022-12-24 06:56:02 more
  • 【HTML基礎篇002】HTML之form表單超詳解

    ??一、form表單是什么

    ??二、form表單的屬性

    ??三、input中的各種Type屬性值

    ??四、標簽 ......

    uj5u.com 2022-12-18 07:17:06 more

Copyright © 2010-2020 有解無憂