Android音視頻【四】H264硬編碼

人間觀察
你什么時候覺得自己好孤獨

這篇我們介紹如何在Android中實作硬編碼為H264，用camera或者其它資料來源也行，我們先不用camera，camera還是蠻復雜的（比如前后置攝像頭預覽，yuv資料轉換，camera2等等），本篇采用錄屏（錄制手機螢屏）然后編碼h264到檔案，
如果你看了上篇文章了解了硬編碼和h264，這篇就很簡單了，

代碼用kotlin實作，學kotlin中，練練手，，，

錄屏

Android中的錄屏功能是在Android 5.0 API 21 上新增的，不需要root，但需要授權，一般直播的APP都會有這個功能，實作方案就是這個，

方案：
視頻來自螢屏，音頻來自麥克風或者播放器（如果只需要播放器的聲音的話），然后視頻編碼為h264，音頻編碼為aac，交給混合器MediaMuxer將音頻資料和視頻資料分別寫入同一個檔案中的音頻軌道和視頻軌道合成為mp4,然后把mp4檔案上傳到服務器，

在APP中錄屏是一種很危險的操作，必須很強制的提醒用戶，所以系統進行了彈窗授權，

錄屏請求授權

錄屏主要用到的API是MediaProjectionManager和MediaProjection，MediaProjectionManager和其它系統服務一樣，比如AlarmManager，ConnectivityManager等，通過getSystemService方法獲取，

private lateinit var mediaProjectionManager: MediaProjectionManager
   

mediaProjectionManager =
            getSystemService(Context.MEDIA_PROJECTION_SERVICE) as MediaProjectionManager
val intent: Intent = mediaProjectionManager.createScreenCaptureIntent()
startActivityForResult(intent, REQUEST_CODE)

請求后，系統會彈個對話框提醒是否允許用戶截取螢屏上顯示的所有內容，如果允許/拒絕，則回呼onActivityResult方法，系統采用這種機制說明錄屏只能在Activity中使用，

override fun onActivityResult(requestCode: Int, resultCode: Int, data: Intent?) {
        super.onActivityResult(requestCode, resultCode, data)
        if (resultCode == RESULT_OK && requestCode == REQUEST_CODE) {
            val mediaProjection = mediaProjectionManager.getMediaProjection(resultCode, data!!)
            encodeThread = H264EncodeThread(mediaProjection)
            encodeThread?.startEncode()
        }
    }

ok，簡單的介紹下使用方法即可，我們重點在h264的編碼，錄屏只是作為我們視頻資料的采集方式，所以錄屏這個名字應該加螢屏視頻資料的采集更貼切，

H264硬編碼

我們實作的demo是把錄屏采集的畫面經過MediaCodec編碼后寫入到檔案中，還是用MediaCodec硬編碼，關于MediaCodec的使用可以參考上一篇，

初始化編碼器

 init {
        // H264/avc的編碼器
        mediaCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC)
        val mediaFormat =
            MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, WIDTH, HEIGHT)

        mediaFormat.setInteger(
            MediaFormat.KEY_COLOR_FORMAT,
            MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface
        )
        // 碼率
        mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, WIDTH * HEIGHT)
        // i幀間隔,MediaCodec一般會按照KEY_FRAME_RATE輸出
        mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2)
        // 幀率，每25幀后一次關鍵幀，即使畫面不動
        mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, 25)

        // 第4個引數需要設定為CONFIGURE_FLAG_ENCODE=1
        mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)

        // surface，錄屏和編碼的進行關聯
        val surface = mediaCodec.createInputSurface()
        mediaProjection.createVirtualDisplay(
            "screen-h264", WIDTH, HEIGHT, 2,
            DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
        )
    }

其中主要的一點就是如何吧螢屏采集的資料和編碼器輸入進行關聯，我們這里是螢屏采集用的是surface，系統的編碼器提供了mediaCodec.createInputSurface方法來創建一個surface，然后mediaProjection的

 mediaProjection.createVirtualDisplay(
            "screen-h264", WIDTH, HEIGHT, 2,
            DisplayManager.VIRTUAL_DISPLAY_FLAG_PUBLIC, surface, null, null
        )

進行關聯，這樣對于上層API呼叫的時候就簡單了，不需要手動的通過mediaCodec的queueInputBuffer來輸入資料給編碼器了，

1. 我們傳入的是surface，這個就有了很好的可操控性，比如可以用opengl來截取螢屏指定區域的地址，或者加貼紙，水印，變色等等操作，后續文章可能會介紹
2. 不需要手動給mediaCodec輸入資料了，

編碼處理

如上所訴這樣編碼的代碼就很簡單了如下：

            while (!isStop) {
                mediaCodec.queueInputBuffer()
                val outIndex = mediaCodec.dequeueOutputBuffer(info, 10_1000)
                if (outIndex >= 0) {
                    // 取出編碼后的H264資料
                    val byteBuffer = mediaCodec.getOutputBuffer(outIndex)
                    val data = ByteArray(info.size)
                    byteBuffer?.get(data)

                    check(data)
                    // to file
                    fos.write(data)

                    // 編碼，給false 不需要渲染
                    mediaCodec.releaseOutputBuffer(outIndex, false);
                }
            }

通過mediaCodec.getOutputBuffer(outIndex)采取出編碼后的h264資料寫入到檔案中，同時我們有一個check方法，主要是看一下當前是SPS,PPS,IDR還是非IDR幀，

    private fun check(data: ByteArray) {
        var index = 4  // 00 00 00 01
        if (data[2].toInt() == 0X1) { // 00 00 01
            index = 3
        }
        // NALU的資料型別,header 1個位元組的后五位
        val naluType = (data[index].and(0x1F)).toInt()
        if (naluType == 7) {
            Log.d(TAG, "SPS")
        } else if (naluType == 8) {
            Log.d(TAG, "PPS")
        } else if (naluType == 5) {
            Log.d(TAG, "IDR")
        } else {
            Log.d(TAG, "非IDR=" + naluType)
        }
    }

按照h264碼流的結構決議，檢查視頻壓縮資料的NAL單元（NAL Unit，NALU），取出NALU的型別進行判斷，然后進行了列印，

同時我們把生成的h264檔案，16進制的方式打開，截取開頭的帶SPS,PPS,IDR幀的資料，和我們之前分析的H264碼流結構一樣，

0000 0001 6742 c01f da02 d028 4400 0000
0168 ca8f 2000 0000 0165 b841 dfff ff04
4245 0001 003f 1c00 0407 2381 be3e 8047
ee36 a6ff e00d 5d26 f9ec 6cc8 d973 dfff
ff82 1580 8666 44f9 95ba 5bff 8f0c 2bc5
952c 51bd 80de 68d2 7e7f fffe 081f 012c
4eec f9bf ffc2 0b89 8030 96cc f002 7538
8045 e9ff ff87 a05a f003 67b2 4383 dfcd
40cd 218c 9edf fff8 7a0e 930e b532 200f
// 省略其它資料...

h264碼流的結構分析參考：
Android音視頻【二】 H264碼流結構

編碼器的銷毀

最后就是釋放操作

isStop = true
mediaProjection.stop()
mediaCodec.stop()
mediaCodec.release()

整體代碼參考原始碼

原始碼

https://github.com/ta893115871/H264EncodeDemo