FFMpeg.AutoGen（1）講解官方example代碼：Main函式、 解碼

FFMpeg是一套C編譯的開源工具集，主要用于視頻處理，可以編解碼視頻，建立流媒體服務器等等，官方網站：http://ffmpeg.org/

FFMpeg.AutoGen封裝方法以方便C#呼叫FFmpeg，專案地址：https://github.com/Ruslan-B/FFmpeg.AutoGen，可以使用NuGet安裝，

AutoGen只是封裝呼叫FFmpeg，程式還是需要下在FFmpeg工具放在程式目錄里，且版本要對應， 筆者用FFMpeg.AutoGetn的官方example代碼介紹一下FFMpege如何使用（源代碼在其github庫里），

example是一個命令列程式，mian函式里面的代碼如下，我將通過此函式呼叫順序介紹ffmpeg.AutoGet的用法，

目錄：

1.注冊FFmpeg庫，實際就將ffmpeg庫的地址告訴autogen

2.ffmpeg 一些呼叫其的配置（可選）
2.1 配置日志輸出
2.2配置硬體解碼器ffmpeg是支持硬解的.具體支持型別可以參考ffmpeg官方檔案，轉載網友摘錄的ffmpeg支持硬解編碼的列舉，

3.解碼函式DecodeAllFramesToImages
3.1 VideoStreamDecoder類
3.2 VideoFrameConverter類
3.3 相關資料結構AVPacket，AVFrame

本文使用ffmpeg.autogen版本4.2.2，對應ffmpeg版本也是4.2.2，

  1 private static void Main(string[] args)
  2         {
  3             Console.WriteLine("Current directory: " + Environment.CurrentDirectory);
  4             Console.WriteLine("Running in {0}-bit mode.", Environment.Is64BitProcess ? "64" : "32");
  5 
  6             FFmpegBinariesHelper.RegisterFFmpegBinaries();
  7 
  8             Console.WriteLine($"FFmpeg version info: {ffmpeg.av_version_info()}");
  9 
 10             //配置ffmpeg輸出日志
 11             SetupLogging();
 12             //配置硬體解碼器
 13             ConfigureHWDecoder(out var deviceType);
 14 
 15             //解碼
 16             Console.WriteLine("Decoding...");
 17             DecodeAllFramesToImages(deviceType);
 18 
 19             //編碼
 20             Console.WriteLine("Encoding...");
 21             EncodeImagesToH264();
 22         }

1.注冊FFmpeg庫，實際就將ffmpeg庫的地址告訴autogen

  1 FFmpegBinariesHelper.RegisterFFmpegBinaries();

注冊FFmpeg，這里的FFmpegBinariesHelper類需要在程式里重寫，我這里摘抄官方demo的代碼

  1 namespace FFmpeg.AutoGen.Example
  2 {
  3     public class FFmpegBinariesHelper
  4     {
  5         internal static void RegisterFFmpegBinaries()
  6         {
  7             var current = Environment.CurrentDirectory;
  8             var probe = Path.Combine("FFmpeg", "bin", Environment.Is64BitProcess ? "x64" : "x86");
  9             while (current != null)
 10             {
 11                 var ffmpegBinaryPath = Path.Combine(current, probe);
 12                 if (Directory.Exists(ffmpegBinaryPath))
 13                 {
 14                     Console.WriteLine($"FFmpeg binaries found in: {ffmpegBinaryPath}");
 15                     ffmpeg.RootPath = ffmpegBinaryPath;
 16                     return;
 17                 }
 18 
 19                 current = Directory.GetParent(current)?.FullName;
 20             }
 21         }
 22     }
 23 }

代碼的功能就是尋找ffmpeg的路徑，

核心代碼：

  1 ffmpeg.RootPath = ffmpegBinaryPath;

2.ffmpeg 一些呼叫其的配置（可選）

2.1 配置日志輸出

  1  	    /// <summary>
  2         /// 配置日志
  3         /// </summary>
  4         private static unsafe void SetupLogging()
  5         {
  6             ffmpeg.av_log_set_level(ffmpeg.AV_LOG_VERBOSE);
  7 
  8             // do not convert to local function
  9             av_log_set_callback_callback logCallback = (p0, level, format, vl) =>
 10             {
 11                 if (level > ffmpeg.av_log_get_level()) return;
 12 
 13                 var lineSize = 1024;
 14                 var lineBuffer = stackalloc byte[lineSize];
 15                 var printPrefix = 1;
 16                 ffmpeg.av_log_format_line(p0, level, format, vl, lineBuffer, lineSize, &printPrefix);
 17                 var line = Marshal.PtrToStringAnsi((IntPtr) lineBuffer);
 18                 Console.ForegroundColor = ConsoleColor.Yellow;
 19                 Console.Write(line);
 20                 Console.ResetColor();
 21             };
 22 
 23             ffmpeg.av_log_set_callback(logCallback);
 24         }

主要就是配置日志回呼，

核心代碼：

  1 ffmpeg.av_log_set_callback(logCallback)

2.2配置硬體解碼器ffmpeg是支持硬解的.具體支持型別可以參考ffmpeg官方檔案，轉載網友摘錄的ffmpeg支持硬解編碼的列舉，

  1 enum AVHWDeviceType {
  2     AV_HWDEVICE_TYPE_NONE,
  3     AV_HWDEVICE_TYPE_VDPAU,
  4     AV_HWDEVICE_TYPE_CUDA,
  5     AV_HWDEVICE_TYPE_VAAPI,
  6      AV_HWDEVICE_TYPE_DXVA2,
  7      AV_HWDEVICE_TYPE_QSV,
  8      AV_HWDEVICE_TYPE_VIDEOTOOLBOX,
  9      AV_HWDEVICE_TYPE_D3D11VA,
 10      AV_HWDEVICE_TYPE_DRM,
 11      AV_HWDEVICE_TYPE_OPENCL,
 12      AV_HWDEVICE_TYPE_MEDIACODEC,
 13  };

  1         /// <summary>
  2         /// 配置硬體解碼器
  3         /// </summary>
  4         /// <param name="HWtype"></param>
  5         private static void ConfigureHWDecoder(out AVHWDeviceType HWtype)
  6         {
  7             HWtype = AVHWDeviceType.AV_HWDEVICE_TYPE_NONE;
  8             Console.WriteLine("Use hardware acceleration for decoding?[n]");
  9             var key = Console.ReadLine();
 10             var availableHWDecoders = new Dictionary<int, AVHWDeviceType>();
 11             if (key == "y")
 12             {
 13                 Console.WriteLine("Select hardware decoder:");
 14                 var type = AVHWDeviceType.AV_HWDEVICE_TYPE_NONE;
 15                 var number = 0;
 16                 while ((type = ffmpeg.av_hwdevice_iterate_types(type)) != AVHWDeviceType.AV_HWDEVICE_TYPE_NONE)
 17                 {
 18                     Console.WriteLine($"{++number}. {type}");
 19                     availableHWDecoders.Add(number, type);
 20                 }
 21                 if (availableHWDecoders.Count == 0)
 22                 {
 23                     Console.WriteLine("Your system have no hardware decoders.");
 24                     HWtype = ，;
 25                     return;
 26                 }
 27                 int decoderNumber = availableHWDecoders.SingleOrDefault(t => t.Value =https://www.cnblogs.com/edzjx/p/= AVHWDeviceType.AV_HWDEVICE_TYPE_DXVA2).Key;
 28                 if (decoderNumber == 0)
 29                     decoderNumber = availableHWDecoders.First().Key;
 30                 Console.WriteLine($"Selected [{decoderNumber}]");
 31                 int.TryParse(Console.ReadLine(),out var inputDecoderNumber);
 32                 availableHWDecoders.TryGetValue(inputDecoderNumber == 0 ? decoderNumber: inputDecoderNumber, out HWtype);
 33             }
 34         }
 35 

核心代碼：ffmpeg.av_hwdevice_iterate_types(type)獲得系統支持的硬體解碼，

ffmpeg.av_hwdevice_iterate_types（type）根據傳入的硬體解碼其型別，回傳AVHWDeviceType列舉里下一個系統支持的硬體解碼器型別，

3.Example里的解碼函式DecodeAllFramesToImages

  1         /// <summary>
  2         /// 解碼
  3         /// </summary>
  4         /// <param name="HWDevice"></param>
  5         private static unsafe void DecodeAllFramesToImages(AVHWDeviceType HWDevice)
  6         {
  7             // decode all frames from url, please not it might local resorce, e.g. string url = "../../sample_mpeg4.mp4";
  8             var url = "http://clips.vorwaerts-gmbh.de/big_buck_bunny.mp4"; // be advised this file holds 1440 frames
  9             using (var vsd = new VideoStreamDecoder(url,HWDevice))
 10             {
 11                 Console.WriteLine($"codec name: {vsd.CodecName}");
 12 
 13                 var info = vsd.GetContextInfo();
 14                 info.ToList().ForEach(x => Console.WriteLine($"{x.Key} = {x.Value}"));
 15 
 16                 var sourceSize = vsd.FrameSize;
 17                 var sourcePixelFormat = HWDevice == AVHWDeviceType.AV_HWDEVICE_TYPE_NONE ? vsd.PixelFormat : GetHWPixelFormat(HWDevice);
 18                 var destinationSize = sourceSize;
 19                 var destinationPixelFormat = AVPixelFormat.AV_PIX_FMT_BGR24;
 20                 using (var vfc = new VideoFrameConverter(sourceSize, sourcePixelFormat, destinationSize, destinationPixelFormat))
 21                 {
 22                     var frameNumber = 0;
 23                     while (vsd.TryDecodeNextFrame(out var frame))
 24                     {
 25                         var convertedFrame = vfc.Convert(frame);
 26 
 27                         using (var bitmap = new Bitmap(convertedFrame.width, convertedFrame.height, convertedFrame.linesize[0], PixelFormat.Format24bppRgb, (IntPtr) convertedFrame.data[0]))
 28                             bitmap.Save($"frame.{frameNumber:D8}.jpg", ImageFormat.Jpeg);
 29 
 30                         Console.WriteLine($"frame: {frameNumber}");
 31                         frameNumber++;
 32                     }
 33                 }
 34             }
 35         }

example源代碼里解碼主要使用VideoStreamDecoder和VideoFrameConverter兩個類，這兩個類不是FFMpeg.AutoGen里的型別，而是example代碼里，也就是說解碼作業是需要用戶自己封裝解碼類，圖省事可以直接照搬example里的代碼，筆者很推薦讀一下這兩個類的源代碼（可以在檔案末尾查附件看注釋過的這兩個類），可以搞清楚ffmpeg的解碼流程，

3.1 example里的VideoStreamDecoder類

VideoStreamDecoder作用：通過配置解碼器獲取實際有用的幀資料，大概的流程是：

1. 打開流并引數回傳格式背景關系AVFormatContext (avformat_open_input(&pFormatContext, url, null, null))
2. 獲取媒體資訊資料存到AVFormatContext 格式背景關系（avformat_find_stream_info(_pFormatContext, null)）
3. 據根AVFormatContext和媒體資訊（AVMediaType.AVMEDIA_TYPE_VIDEO ）找到最佳匹配的流索引并引數回傳解碼器AVCodec（av_find_best_stream(_pFormatContext, AVMediaType.AVMEDIA_TYPE_VIDEO  , -1, -1 , &codec, 0)）
4. 根據AVCodec分配解碼器背景關系AVCodecContext（_pCodecContext=avcodec_alloc_context3(codec)，如果指定硬解還要配置AVCodecContext里硬體解碼器hw_device_ctx）
5. 配置解碼器背景關系格式引數，avcodec_parameters_to_context（根據_pFormatContext->streams[_streamIndex]->codecpar）
6. 根據解碼器codec初始化解碼器背景關系 avcodec_open2(_pCodecContext, codec, null)
7. 輪詢幀：把未解碼幀包（AVPacket）放入解碼器（avcodec_send_packet）從解碼器里獲取解碼的幀(AVFrame)（avcodec_receive_frame）

3.2example里的VideoFrameConverter類

VideoFrameConverter作用：對幀資料進行規格形狀轉換，格式轉換的大概流程

• 創建幀格式轉換器SwsContext（ffmpeg.sws_getContext，可以指定轉換器的演算法，具體可以看參考檔案【6】）
• 計算轉換程序中需要的快取
• 創建快取：創建快取指標（ref _dstData, ref _dstLinesize）——創建快取實際記憶體——兩者關聯（av_image_fill_arrays），具體可以看參考檔案【7】【8】
• 輪詢轉換：實際上就是呼叫sws_scale，最侄訓傳一個轉換好的AVFrame

3.3.相關資料結構AVPacket，AVFrame

其中有兩個概念包和幀需要注意一下，這里轉載灰色飄零博客里描述（參考檔案【5】）：

AVPacket

用于存盤壓縮的資料，分別包括有音頻壓縮資料，視頻壓縮資料和字幕壓縮資料，它通常在解復用操作后存盤壓縮資料，然后作為輸入傳給解碼器，或者由編碼器輸出然后傳遞給復用器，對于視頻壓縮資料，一個AVPacket通常包括一個視頻幀，對于音頻壓縮資料，可能包括幾個壓縮的音頻幀，

AVFrame

用于存盤解碼后的音頻或者視頻資料，AVFrame必須通過av_frame_alloc進行分配，通過av_frame_free釋放，

兩者之間的關系

av_read_frame得到壓縮的資料包AVPacket，一般有三種壓縮的資料包(視頻、音頻和字幕)，都用AVPacket表示，

然后呼叫avcodec_send_packet 和 avcodec_receive_frame對AVPacket進行解碼得到AVFrame，

注：從 FFmpeg 3.x 開始，avcodec_decode_video2 就被廢棄了，取而代之的是 avcodec_send_packet 和 avcodec_receive_frame，

參考檔案：

【1】FFmpeg視頻解碼硬體加速

【2】FFmpeg開發之PacketQueue中AVPacket和AVFrame關系

【3】ffmpeg+ffserver搭建流媒體服務器

【4】FFmpeg框架的基礎知識

【5】FFMPEG-資料結構解釋(AVCodecContext,AVStream,AVFormatContext)

【6】ffmpeg中的sws_scale演算法性能測驗 一片云霧 2011-10-29

【7】av_image_fill_arrays詳解 韭菜大蔥餡雞蛋 2019-12-14

【8】FFmpeg av_image_fill_arrays填充AVFrame資料緩沖 fengyuzaitu 2019-11-12

附件1 Example中unsafe void DecodeAllFramesToImages(AVHWDeviceType HWDevice)解碼函式原始碼及注釋

  1         /// <summary>
  2         /// 解碼
  3         /// </summary>
  4         /// <param name="HWDevice">硬體解碼型別</param>
  5         private static unsafe void DecodeAllFramesToImages(AVHWDeviceType HWDevice)
  6         {
  7             // decode all frames from url, please not it might local resorce, e.g. string url = "../../sample_mpeg4.mp4";
  8             var url = "http://clips.vorwaerts-gmbh.de/big_buck_bunny.mp4"; // be advised this file holds 1440 frames
  9 
 10             //使用自行撰寫的視頻解碼器類進行解碼
 11             using (var vsd = new VideoStreamDecoder(url,HWDevice))
 12             {
 13                 Console.WriteLine($"codec name: {vsd.CodecName}");
 14 
 15                 //獲取媒體資訊
 16                 var info = vsd.GetContextInfo();
 17                 info.ToList().ForEach(x => Console.WriteLine($"{x.Key} = {x.Value}"));
 18 
 19                 var sourceSize = vsd.FrameSize;
 20                 //資源編碼格式
 21                 var sourcePixelFormat = HWDevice == AVHWDeviceType.AV_HWDEVICE_TYPE_NONE ? vsd.PixelFormat : GetHWPixelFormat(HWDevice);
 22                 //目標尺寸與原尺寸一致
 23                 var destinationSize = sourceSize;
 24                 //目標媒體格式是bit型別
 25                 var destinationPixelFormat = AVPixelFormat.AV_PIX_FMT_BGR24;
 26                 //幀格式轉換
 27                 using (var vfc = new VideoFrameConverter(sourceSize, sourcePixelFormat, destinationSize, destinationPixelFormat))
 28                 {
 29                     var frameNumber = 0;
 30                     while (vsd.TryDecodeNextFrame(out var frame))
 31                     {
 32                         var convertedFrame = vfc.Convert(frame);
 33 
 34                         using (var bitmap = new Bitmap(convertedFrame.width, convertedFrame.height, convertedFrame.linesize[0], PixelFormat.Format24bppRgb, (IntPtr) convertedFrame.data[0]))
 35                             bitmap.Save($"frame.{frameNumber:D8}.jpg", ImageFormat.Jpeg);
 36 
 37                         Console.WriteLine($"frame: {frameNumber}");
 38                         frameNumber++;
 39                     }
 40                 }
 41             }
 42         }
 43 

附件2 Example中解碼類VideoStreamDecoder類原始碼及注釋

  1 using System;
  2 using System.Collections.Generic;
  3 using System.Drawing;
  4 using System.IO;
  5 using System.Runtime.InteropServices;
  6 
  7 namespace FFmpeg.AutoGen.Example
  8 {
  9     public sealed unsafe class VideoStreamDecoder : IDisposable
 10     {
 11         private readonly AVCodecContext* _pCodecContext;
 12         private readonly AVFormatContext* _pFormatContext;
 13         private readonly int _streamIndex;
 14         //
 15         private readonly AVFrame* _pFrame;
 16         //
 17         private readonly AVFrame* _receivedFrame;
 18         private readonly AVPacket* _pPacket;
 19         /// <summary>
 20         /// 視頻解碼器
 21         /// </summary>
 22         /// <param name="url">視頻流URL</param>
 23         /// <param name="HWDeviceType">硬體解碼器型別（默認AVHWDeviceType.AV_HWDEVICE_TYPE_NONE）</param>
 24         public VideoStreamDecoder(string url, AVHWDeviceType HWDeviceType = AVHWDeviceType.AV_HWDEVICE_TYPE_NONE)
 25         {
 26             //分配一個AVFormatContext
 27             _pFormatContext = ffmpeg.avformat_alloc_context();
 28             //分配一個AVFrame
 29             _receivedFrame = ffmpeg.av_frame_alloc();
 30 
 31             var pFormatContext = _pFormatContext;
 32             //將源音視頻流傳遞給ffmpeg即ffmpeg打開源視頻流
 33             ffmpeg.avformat_open_input(&pFormatContext, url, null, null).ThrowExceptionIfError();
 34             //獲取音視頻流資訊
 35             ffmpeg.avformat_find_stream_info(_pFormatContext, null).ThrowExceptionIfError();
 36             AVCodec* codec = null;
 37             //在源里找到最佳的流，如果指定了解碼器，則根據解碼器尋找流，將解碼器傳遞給codec
 38             _streamIndex = ffmpeg.av_find_best_stream(_pFormatContext, AVMediaType.AVMEDIA_TYPE_VIDEO, -1, -1, &codec, 0).ThrowExceptionIfError();
 39             //根據解碼器分配一個AVCodecContext ，僅僅分配工具，還沒有初始化，
 40             _pCodecContext = ffmpeg.avcodec_alloc_context3(codec);
 41             //如果硬解碼
 42             if (HWDeviceType != AVHWDeviceType.AV_HWDEVICE_TYPE_NONE)
 43             {
 44                 //根據硬體編碼型別創建AVHWDeviceContext，存在AVFormatContext.hw_device_ctx (_pCodecContext->hw_device_ctx)
 45                 ffmpeg.av_hwdevice_ctx_create(&_pCodecContext->hw_device_ctx, HWDeviceType, null, null, 0).ThrowExceptionIfError();
 46             }
 47             //將最佳流的格式引數傳遞給codecContext
 48             ffmpeg.avcodec_parameters_to_context(_pCodecContext, _pFormatContext->streams[_streamIndex]->codecpar).ThrowExceptionIfError();
 49             //根據codec初始化pCodecContext ，與_pCodecContext = ffmpeg.avcodec_alloc_context3(codec);對應
 50             ffmpeg.avcodec_open2(_pCodecContext, codec, null).ThrowExceptionIfError();
 51 
 52             CodecName = ffmpeg.avcodec_get_name(codec->id);
 53             FrameSize = new Size(_pCodecContext->width, _pCodecContext->height);
 54             PixelFormat = _pCodecContext->pix_fmt;
 55             //分配AVPacket
 56             /* AVPacket用于存盤壓縮的資料，分別包括有音頻壓縮資料，視頻壓縮資料和字幕壓縮資料，
 57                        它通常在解復用操作后存盤壓縮資料，然后作為輸入傳給解碼器，或者由編碼器輸出然后傳遞給復用器，
 58                        對于視頻壓縮資料，一個AVPacket通常包括一個視頻幀，對于音頻壓縮資料，可能包括幾個壓縮的音頻幀，
 59              */
 60             _pPacket = ffmpeg.av_packet_alloc();
 61 
 62             //分配AVFrame
 63             /*AVFrame用于存盤解碼后的音頻或者視頻資料，
 64                     AVFrame必須通過av_frame_alloc進行分配，通過av_frame_free釋放，
 65             */
 66             _pFrame = ffmpeg.av_frame_alloc();
 67         }
 68 
 69         public string CodecName { get; }
 70         public Size FrameSize { get; }
 71         public AVPixelFormat PixelFormat { get; }
 72 
 73         public void Dispose()
 74         {
 75             ffmpeg.av_frame_unref(_pFrame);
 76             ffmpeg.av_free(_pFrame);
 77 
 78             ffmpeg.av_packet_unref(_pPacket);
 79             ffmpeg.av_free(_pPacket);
 80 
 81             ffmpeg.avcodec_close(_pCodecContext);
 82             var pFormatContext = _pFormatContext;
 83             ffmpeg.avformat_close_input(&pFormatContext);
 84         }
 85 
 86         /// <summary>
 87         /// 解碼下一幀幀
 88         /// </summary>
 89         /// <param name="frame">引數回傳解碼后的幀</param>
 90         /// <returns></returns>
 91         public bool TryDecodeNextFrame(out AVFrame frame)
 92         {
 93             //取消幀的參考，幀將不會被任何資源參考
 94             ffmpeg.av_frame_unref(_pFrame);
 95             ffmpeg.av_frame_unref(_receivedFrame);
 96             int error;
 97             do
 98             {
 99 
100 
101                 try
102                 {
103                     #region 讀取幀忽略無效幀
104                     do
105                     {
106 
107                         //讀取無效幀
108                         error = ffmpeg.av_read_frame(_pFormatContext, _pPacket);//根據pFormatContext讀取幀，回傳到Packet中
109                         if (error == ffmpeg.AVERROR_EOF)//如果已經是影視片流末尾則回傳
110                         {
111                             frame = *_pFrame;
112                             return false;
113                         }
114                         //數值是負數是錯誤資訊
115                         error.ThrowExceptionIfError();
116                     } while (_pPacket->stream_index != _streamIndex); //忽略掉音視頻流里面與有效流（初始化（建構式）時標記的_streamIndex）不一致的流
117                     #endregion
118 
119                     //將幀資料放入解碼器
120                     ffmpeg.avcodec_send_packet(_pCodecContext, _pPacket).ThrowExceptionIfError();  //將原始資料資料（_pPacket）作為輸入提供給解碼器（_pCodecContext）
121                 }
122                 finally
123                 {
124                     //消除對_pPacket的參考
125                     ffmpeg.av_packet_unref(_pPacket);
126                 }
127 
128 
129 
130                 //讀取解碼器里解碼（_pCodecContext）后的幀通過引數回傳（_pFrame）
131                 error = ffmpeg.avcodec_receive_frame(_pCodecContext, _pFrame);
132 
133             } while (error == ffmpeg.AVERROR(ffmpeg.EAGAIN));//當回傳值等于 EAGAIN(再試一次)，認為讀取幀結束
134             error.ThrowExceptionIfError();
135 
136             if (_pCodecContext->hw_device_ctx != null)//如果配置了硬體解碼則呼叫硬體解碼器解碼
137             {
138                 //將_pFrame通過硬體解碼后放入_receivedFrame
139                 ffmpeg.av_hwframe_transfer_data(_receivedFrame, _pFrame, 0).ThrowExceptionIfError();
140                 frame = *_receivedFrame;
141             }
142             else
143             {
144                 frame = *_pFrame;
145             }
146             return true;
147         }
148 
149         /// <summary>
150         /// 獲取媒體TAG資訊
151         /// </summary>
152         /// <returns></returns>
153         public IReadOnlyDictionary<string, string> GetContextInfo()
154         {
155             AVDictionaryEntry* tag = null;
156             var result = new Dictionary<string, string>();
157             while ((tag = ffmpeg.av_dict_get(_pFormatContext->metadata, "", tag, ffmpeg.AV_DICT_IGNORE_SUFFIX)) != null)
158             {
159                 var key = Marshal.PtrToStringAnsi((IntPtr) tag->key);
160                 var value = Marshal.PtrToStringAnsi((IntPtr) tag->value);
161                 result.Add(key, value);
162             }
163 
164             return result;
165         }
166     }
167 }

附件3 Example中幀轉換類VideoFrameConverter類原始碼及注釋

  1 using System;
  2 using System.Drawing;
  3 using System.Runtime.InteropServices;
  4 
  5 namespace FFmpeg.AutoGen.Example
  6 {
  7     public sealed unsafe class VideoFrameConverter : IDisposable
  8     {
  9         private readonly IntPtr _convertedFrameBufferPtr;
 10         private readonly Size _destinationSize;
 11         private readonly byte_ptrArray4 _dstData;
 12         private readonly int_array4 _dstLinesize;
 13         private readonly SwsContext* _pConvertContext;
 14         /// <summary>
 15         /// 幀格式轉換
 16         /// </summary>
 17         /// <param name="sourceSize"></param>
 18         /// <param name="sourcePixelFormat"></param>
 19         /// <param name="destinationSize"></param>
 20         /// <param name="destinationPixelFormat"></param>
 21         public VideoFrameConverter(Size sourceSize, AVPixelFormat sourcePixelFormat,
 22             Size destinationSize, AVPixelFormat destinationPixelFormat)
 23         {
 24             _destinationSize = destinationSize;
 25                 //分配并回傳一個SwsContext，您需要它使用sws_scale()執行伸縮/轉換操作
 26                 //主要就是使用SwsContext進行轉換！！！
 27             _pConvertContext = ffmpeg.sws_getContext(sourceSize.Width, sourceSize.Height, sourcePixelFormat,
 28                 destinationSize.Width,
 29                 destinationSize.Height
 30                 , destinationPixelFormat,
 31                 ffmpeg.SWS_FAST_BILINEAR //默認演算法 還有其他演算法
 32                 , null
 33                 , null
 34                 , null //額外引數 在flasgs指定的演算法，而使用的引數，如果  SWS_BICUBIC  SWS_GAUSS  SWS_LANCZOS這些演算法，  這里沒有使用
 35                 );
 36             if (_pConvertContext == null) throw new ApplicationException("Could not initialize the conversion context.");
 37             //獲取媒體幀所需要的大小
 38             var convertedFrameBufferSize = ffmpeg.av_image_get_buffer_size(destinationPixelFormat
 39                 , destinationSize.Width, destinationSize.Height
 40                 , 1);
 41             //申請非托管記憶體,unsafe代碼
 42             _convertedFrameBufferPtr = Marshal.AllocHGlobal(convertedFrameBufferSize);
 43 
 44             //轉換幀的記憶體指標
 45             _dstData = https://www.cnblogs.com/edzjx/p/new byte_ptrArray4();
 46             _dstLinesize = new int_array4();
 47 
 48             //掛在幀資料的記憶體區把_dstData里存的的指標指向_convertedFrameBufferPtr
 49             ffmpeg.av_image_fill_arrays(ref _dstData, ref _dstLinesize
 50                 , (byte*) _convertedFrameBufferPtr
 51                 , destinationPixelFormat
 52                 , destinationSize.Width, destinationSize.Height
 53                 , 1);
 54         }
 55 
 56         public void Dispose()
 57         {
 58             Marshal.FreeHGlobal(_convertedFrameBufferPtr);
 59             ffmpeg.sws_freeContext(_pConvertContext);
 60         }
 61 
 62         public AVFrame Convert(AVFrame sourceFrame)
 63         {
 64             //轉換格式
 65             ffmpeg.sws_scale(_pConvertContext
 66                 , sourceFrame.data
 67                 , sourceFrame.linesize
 68                 , 0, sourceFrame.height
 69                 , _dstData, _dstLinesize);
 70 
 71             var data = https://www.cnblogs.com/edzjx/p/new byte_ptrArray8();
 72             data.UpdateFrom(_dstData);
 73             var linesize = new int_array8();
 74             linesize.UpdateFrom(_dstLinesize);
 75 
 76             return new AVFrame
 77             {
 78                 data = https://www.cnblogs.com/edzjx/p/data,
 79                 linesize = linesize,
 80                 width = _destinationSize.Width,
 81                 height = _destinationSize.Height
 82             };
 83         }
 84     }
 85 }

標籤：其他

上一篇：VoIP Asterisk 互聯下載

下一篇：關于映射的問題。有沒人知道