JavaCV的攝像頭實戰之六：保存為mp4檔案(有聲音)

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類匯總及配套原始碼，涉及Java、Docker、Kubernetes、DevOPS等；

本篇概覽

• 本文是《JavaCV的攝像頭實戰》的第六篇，在《JavaCV的攝像頭實戰之三：保存為mp4檔案》一文中，咱們將攝像頭的內容錄制為mp4檔案，相信聰明的您一定覺察到了一縷瑕疵：沒有聲音
• 雖然《JavaCV的攝像頭實戰》系列的主題是攝像頭處理，但顯然音視頻健全才是最常見的情況，因此就在本篇補全前文的不足吧：編碼實作攝像頭和麥克風的錄制

關于音頻的采集和錄制

• 本篇的代碼是在《JavaCV的攝像頭實戰之三：保存為mp4檔案》原始碼的基礎上增加音頻處理部分
• 編碼前，咱們先來分析一下，增加音頻處理后具體的代碼邏輯會有哪些變化
• 只保存視頻的操作，與保存音頻相比，步驟的區別如下圖所示，深色塊就是新增的操作：

• 相對的，在應用結束時，釋放所有資源的時候，音視頻的操作也比只有視頻時要多一些，如下圖所示，深色就是釋放音頻相關資源的操作：

• 為了讓代碼簡潔一些，我將音頻相關的處理都放在名為AudioService的類中，也就是說上面兩幅圖的深色部分的代碼都在AudioService.java中，主程式使用此類來完成音頻處理

• 接下來開始編碼

開發音頻處理類AudioService

• 首先是剛才提到的AudioService.java，主要內容就是前面圖中深色塊的功能，有幾處要注意的地方稍后會提到：

package com.bolingcavalry.grabpush.extend;

import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.bytedeco.javacv.FrameRecorder;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.TargetDataLine;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

/**
 * @author willzhao
 * @version 1.0
 * @description 音頻相關的服務
 * @date 2021/12/3 8:09
 */
@Slf4j
public class AudioService {

    // 采樣率
    private final static int SAMPLE_RATE = 44100;

    // 音頻通道數，2表示立體聲
    private final static int CHANNEL_NUM = 2;

    // 幀錄制器
    private FFmpegFrameRecorder recorder;

    // 定時器
    private ScheduledThreadPoolExecutor sampleTask;

    // 目標資料線，音頻資料從這里獲取
    private TargetDataLine line;

    // 該陣列用于保存從資料線中取得的音頻資料
    byte[] audioBytes;

    // 定時任務的執行緒中會讀此變數，而改變此變數的值是在主執行緒中，因此要用volatile保持可見性
    private volatile boolean isFinish = false;

    /**
     * 幀錄制器的音頻引數設定
     * @param recorder
     * @throws Exception
     */
    public void setRecorderParams(FrameRecorder recorder) throws Exception {
        this.recorder = (FFmpegFrameRecorder)recorder;

        // 碼率恒定
        recorder.setAudioOption("crf", "0");
        // 最高音質
        recorder.setAudioQuality(0);
        // 192 Kbps
        recorder.setAudioBitrate(192000);

        // 采樣率
        recorder.setSampleRate(SAMPLE_RATE);

        // 立體聲
        recorder.setAudioChannels(2);
        // 編碼器
        recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
    }

    /**
     * 音頻采樣物件的初始化
     * @throws Exception
     */
    public void initSampleService() throws Exception {
        // 音頻格式的引數
        AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false);

        // 獲取資料線所需的引數
        DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);

        // 從音頻捕獲設備取得其資料的資料線，之后的音頻資料就從該資料線中獲取
        line = (TargetDataLine)AudioSystem.getLine(dataLineInfo);

        line.open(audioFormat);

        // 資料線與音頻資料的IO建立聯系
        line.start();

        // 每次取得的原始資料大小
        final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM;

        // 初始化陣列，用于暫存原始音頻采樣資料
        audioBytes = new byte[audioBufferSize];

        // 創建一個定時任務，任務的內容是定時做音頻采樣，再把采樣資料交給幀錄制器處理
        sampleTask = new ScheduledThreadPoolExecutor(1);
    }

    /**
     * 程式結束前，釋放音頻相關的資源
     */
    public void releaseOutputResource() {
        // 結束的標志，避免采樣的代碼在whlie回圈中不退出
        isFinish = true;
        // 結束定時任務
        sampleTask.shutdown();
        // 停止資料線
        line.stop();
        // 關閉資料線
        line.close();
    }

    /**
     * 啟動定時任務，每秒執行一次，采集音頻資料給幀錄制器
     * @param frameRate
     */
    public void startSample(double frameRate) {

        // 啟動定時任務，每秒執行一次，采集音頻資料給幀錄制器
        sampleTask.scheduleAtFixedRate((Runnable) new Runnable() {
            @Override
            public void run() {
                try
                {
                    int nBytesRead = 0;

                    while (nBytesRead == 0 && !isFinish) {
                        // 音頻資料是從資料線中取得的
                        nBytesRead = line.read(audioBytes, 0, line.available());
                    }

                    // 如果nBytesRead<1，表示isFinish標志被設定true，此時該結束了
                    if (nBytesRead<1) {
                        return;
                    }

                    // 采樣資料是16位元，也就是2位元組，對應的資料型別就是short，
                    // 所以準備一個short陣列來接受原始的byte陣列資料
                    // short是2位元組，所以陣列長度就是byte陣列長度的二分之一
                    int nSamplesRead = nBytesRead / 2;
                    short[] samples = new short[nSamplesRead];

                    // 兩個byte放入一個short中的時候，誰在前誰在后？這里用LITTLE_ENDIAN指定拜訪順序，
                    ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
                    // 將short陣列轉為ShortBuffer物件，因為幀錄制器的入參需要該型別
                    ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);

                    // 音頻幀交給幀錄制器輸出
                    recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff);
                }
                catch (FrameRecorder.Exception e) {
                    e.printStackTrace();
                }
            }
        }, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS);
    }
}

• 上述代碼中，有兩處要注意：

1. 重點關注recorder.recordSamples，該方法將音頻存入了mp4檔案
2. 定時任務是在一個新執行緒中執行的，因此當主執行緒結束錄制后，需要中斷定時任務中的while回圈，因此新增了volatile型別的變數isFinish，幫助定時任務中的代碼判斷是否立即結束while回圈

改造原本只存視頻的代碼

• 接著是對《JavaCV的攝像頭實戰之三：保存為mp4檔案》一文中RecordCameraSaveMp4.java的改造，為了不影響之前章節在github上的代碼，這里我新增了一個類RecordCameraSaveMp4WithAudio.java，內容與RecordCameraSaveMp4.java一模一樣，接下來咱們來改造這個RecordCameraSaveMp4WithAudio類

• 先增加AudioService型別的成員變數：

	// 音頻服務類
    private AudioService audioService = new AudioService();

• 接下來是關鍵，initOutput方法負責幀錄制器的初始化，現在要加上音頻相關的初始化操作，并且還要啟動定時任務去采集和處理音頻，如下所示，AudioService的三個方法都在此呼叫了，注意定時任務的啟動要放在幀錄制器初始化之后：

    @Override
    protected void initOutput() throws Exception {
        // 實體化FFmpegFrameRecorder
        recorder = new FFmpegFrameRecorder(RECORD_FILE_PATH,        // 存放檔案的位置
                                           getCameraImageWidth(),   // 解析度的寬，與視頻源一致
                                           getCameraImageHeight(),  // 解析度的高，與視頻源一致
                                            0);                      // 音頻通道，0表示無

        // 檔案格式
        recorder.setFormat("mp4");

        // 幀率與抓取器一致
        recorder.setFrameRate(getFrameRate());

        // 編碼格式
        recorder.setPixelFormat(AV_PIX_FMT_YUV420P);

        // 編碼器型別
        recorder.setVideoCodec(avcodec.AV_CODEC_ID_MPEG4);

        // 視頻質量，0表示無損
        recorder.setVideoQuality(0);

        // 設定幀錄制器的音頻相關引數
        audioService.setRecorderParams(recorder);

        // 音頻采樣相關的初始化操作
        audioService.initSampleService();

        // 初始化
        recorder.start();

        // 啟動定時任務，采集音頻幀給幀錄制器
        audioService.startSample(getFrameRate());

• output方法保存原樣，只處理視頻幀（音頻處理在定時任務中）

    @Override
    protected void output(Frame frame) throws Exception {
        // 存盤
        recorder.record(frame);
    }

• 釋放資源的方法中，增加了音瞥澩釋放的操作：

    @Override
    protected void releaseOutputResource() throws Exception {
        // 執行音頻服務的資源釋放操作
        audioService.releaseOutputResource();

        // 關閉幀錄制器
        recorder.close();
    }

• 至此，將攝像頭視頻和麥克風音頻存為mp4檔案的功能已開發完成，再寫上main方法，注意引數30表示抓取和錄制的操作執行30秒，注意，這是程式執行的時長，不是錄制視頻的時長：

    public static void main(String[] args) {
        // 錄制30秒視頻
        new RecordCameraSaveMp4WithAudio().action(30);
    }

• 運行main方法，等到控制臺輸出下圖紅框的內容時，表示視頻錄制完成：

• 打開mp4檔案所在目錄，如下圖，紅框中就是剛剛生成的檔案和相關資訊，注意藍框的內容，證明該檔案包含了視頻和音頻的資料：

• 用VLC播放驗證，結果視頻和聲音都正常

• 至此，咱們已完成了保存音視頻檔案的功能，得益于JavaCV的強大，整個程序是如此的輕松愉快，接下來請繼續關注欣宸原創，《JavaCV的攝像頭實戰》系列還會呈現更多豐富的應用；

原始碼下載

• 《JavaCV的攝像頭實戰》的完整原始碼可在GitHub下載到，地址和鏈接資訊如下表所示(https://github.com/zq2599/blog_demos)：

• 這個git專案中有多個檔案夾，本篇的原始碼在javacv-tutorials檔案夾下，如下圖紅框所示：

• javacv-tutorials里面有多個子工程，《JavaCV的攝像頭實戰》系列的代碼在simple-grab-push工程下：

你不孤單，欣宸原創一路相伴

搜索「程式員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos

標籤：Java

上一篇：JavaCV的攝像頭實戰之五：推流

下一篇：JavaCV的攝像頭實戰之六：保存為mp4檔案(有聲音)