【編者按】不知不覺，FFmpeg 已有 20 個年頭了，這 20 年總體看來，FFmpeg 如今已非常成功，但期間也有一些波折，
專案發起人 Fabrice Bellard 曾帶領部分開發團隊脫離 FFmpeg ，創建新專案 libav ，直到后來 FFmpeg 專案負責人 Michael Niedermayer 將 libav 的代碼合并到了 FFmpeg，除此之外，FFmpeg 的“恥辱柱”更是為人熟知，國內的暴風影音和 QQ 影音都曾上榜，
如今，盡管 FFmpeg 正在被基于他的應用慢慢取代，但他對于音視頻等領域的影響依舊可見，技術升級換代促使社會進步，同樣，FFmpeg 也在用自己的方式改善人們的生活……
作者 | 陳超 責編 | 張文
頭圖 | CSDN 下載自視覺中國
出品 | CSDN（ID：CSDNnews）
FFmpeg 20 年絕對是個歷史厚重的話題，而且它涉及了很多人的利益，我們不作過多闡述，本文，我僅僅從一個從事音視頻行業十多年的開發者，從一個 FFmepg 使用者的角度，結合自身經歷，談一談自己的觀點和看法，希望能給大家一些參考，
為什么讓我來聊這個話題？一方面是因為我從業時間長，第二方面，我也是 FFmpeg 開源專案的受益者，所以無論從純技術角度，還是從商業產品的角度，我都有小小的經驗可以分享，
FFmpeg 由法國天才程式員 Fabrice Bellard 發起，2004 年至 2015 年間由 Michael Niedermayer 主要負責維護，它是音視頻領域最受歡迎的開源開發框架之一，Fabrice Bellard 也是 QEMU、TinyCC 等著名應用程式的作者，QEMU 是一個虛擬機專案，目前大量運用于各種安卓模擬器，比如像在 iOS 上運行了 XP 、在 ipad 上用上了 windows，或多或少都用到了 QEMU，
首先向開源大神致敬，用 FFmpeg 這樣的開源專案，我們無法規避的就是各種開源的協議，GPL/GPLV3/LGPL/LGPLV3，過去二十年發生過各種爭議，很多產品還被釘在恥辱柱上，簡單來說，就是 GPL 不可商用，
LGPL 可以開發閉源商用的軟體，但只能用動態庫，并標明你使用了 FFmpeg 動態庫，除非你開源軟體專案，否則靜態鏈接的方式是不允許的，
我可以大致將 FFmpeg 或者說音視頻領域的發展，劃分為 3 個時間階段，
2007 年之前
2008 年～2017 年
2017 年以后
2007 年之前的階段
這個階段我們聽到的都是各種恩怨糾葛，商業與開源的爭論，
計算機剛開始用來處理音頻、視頻的時候，各種以編解碼為核心技術的公司像雨后春筍一般冒了出來，做的好的公司也很多，比如 rmvb，每個公司都想搶占市場，因為不論是誰搶占了音視頻編解碼的制高點，那便意味著他掌握了下一個時代，
當然，最后由行業統一的協會結束了這種紛爭，直到 2007 年蘋果發布iPhone，力挺 H.264 mp4 后，行業統一為 H.264 mp4，
FFmpeg 誕生之初，就是為了解決各種音視頻編碼協議被商業公司壟斷、協議之間不兼容的問題，所以，你可以把 FFmpeg 看成一個音視頻編解碼、格式決議、轉換的大集合，
由于歐美數字音響著作權保護嚴格，各種格式互不兼容，類似于一個人想把電腦里面的視頻和歌曲轉移到手機或者車載系統里去，流程非常麻煩，于是，就存在了一個潛在的法律擦邊球市場——格式轉換，
國內最早一批軟體出海開發者抓住了這個商機，當時最出名的播放器，如 KMPlayer、MPlayer SMplayer 以及各種格式轉換軟體，絕大部分都基于 FFmpeg，
OpenGL/ES 時代
2008～2017 是移動編解碼芯片大發展的時代，
雖然視頻編碼格式、視頻容器得到了統一，但這是一個漫長的程序，要知道，2014 年之前，蘋果是不開放硬體解碼介面給第三方應用的，
這無疑給了 FFmpeg 在 iOS 上應用的一個巨大機會，
所以 2014 年之前，絕大多數視頻類應用都會使用 FFmpeg+OpenGL ES，FFmpeg 負責解碼，OpenGL ES 負責渲染視頻，shader 硬體加速轉換 rgb（YUV 轉 RGB 傳統演算法耗 CPU），當時跑 1080P，2M 碼流勉強夠用，
偶爾冒出一個團隊宣布他們做了 iOS 上的硬體解碼，講解是怎么 hacking 進去獲得 iOS 硬體解碼未開放的頭檔案的，這些都令我們羨慕不已，
伴隨著移動時代的到來，OpenGL/ES 成為了行業標準，
OpenGL/ES 除了運用在跨平臺游戲引擎和 3D 建模仿真領域之外，還在視頻影像處理領域有很大發揮，2010 年，PC 集成顯卡開始逐漸支持 OpenGL ，
開源 GUI 框架 Qt 在發布 Qt5 的時候，直接跟 OpenGL/ES 進行了深度系結，Qt 也因此成為行業最受歡迎的跨平臺 GUI 開發框架，影像處理能力十分強悍的生產力軟體行業巨頭 maya 和 Substance Painter 非常受歡迎的視頻剪輯軟體 Davinci(達芬奇)都基于 Qt+OpenGL 開發的，
OpenGL/ES 作為行業的統一標準，廣泛應用于跨平臺游戲引擎和音視頻數字影像處理，程式員們也因此迎來了黃金的十年，
這個 10 年，API 統一，同一套代碼不需要大幅度改動就能應用在別的地方，屬實令人淚目，時至今日，我們依然能看到位元組等各大互聯網公司還在招聘 FFmpeg、OpenGL/ES 資深從業者，日常刷短視頻時見到的各種變臉、抖音特效、各種 filters、貼紙等等都出自 FFmpeg ，或是硬解碼后再結合 OpenGL/ES shader 做出來的，
在芯片領域，從當年晦澀難用、高門檻高價格的 TI DM365 嵌入式芯片，到 SDK 集成度非常高、價格低廉、對開發者非常友好的 3518 系列海思芯片，中低端芯片在安防、智能家電、行車記錄儀等領域大規模應用，
在這個 10 年，嵌入式智能硬體開發也是如火如荼，硬體之都深圳集中了幾千家做外貿的安防公司，每年數億級別的攝像頭相關設備出口到歐美市場，海思也成為這個領域的老大，
智能硬體與移動設備結合，首先需要硬體跟手機建立通訊，程式員要做這個領域的開發，必須要對 TCP/IP UDP 網路通訊有深入的研究，同時需要掌握 FFmpeg H.264 音視頻基礎 OpenGL/ES 等知識，
在 PC端、手機視頻剪輯生產力軟體領域，Adobe Premire、Finalcut pro、達芬奇巨頭壟斷之下，國內廠商也逐漸占有一席之地，這得益于 OpenGL/ES 的大規模普及，支持 OpenGL3.3 或者更高的版本的 PC 集成顯卡讓視頻剪輯中各種影片和特效處理成為了可能，
移動黃金十年，也是中國社會變化最快的十年，各大公司百花齊放，只要涉及音視頻處理，背后都有 FFmpeg 的身影，這十年，大家一路狂奔，似乎也沒什么人去關心 LGPL GPL，你是動態鏈接呢，還是 static，各個開發人員，大小公司，都在里面做出了非常不錯的產品，服務全球的消費者，
2017 年后
IT 行業的發展的基石，依然是芯片，
iOS 2017 年后已經全面支持 H.265 硬體編解碼，
Intel 2017年的 kaby cpu 開始支持 H.265 硬體編碼，
2019 年后的 coffee 全面支持 H.265 硬體編碼，
所以目前，H.265 是主流，
通過下圖，看看你的 CPU 是否支持 H.265 硬體編解碼，
FLASH 沒落，RTMP 也很久不更新了，傳統 TCP 在音視頻傳輸程序中會有延遲，中心化服務器會帶來流量、資費問題，
一套技術上高效可靠、經濟實惠的音視頻傳輸框架迫在眉睫，其中 P2P 結合 relay 的方式是最為理想，
對于中小型公司來說，做音視頻直播、視頻會議相關的產品，自研 UDP，P2P 是不可能的，因為運營這樣一個研發團隊，每年的開銷投入是千萬級別的，所以 WebRTC，甚至第三方基于 WebRTC 開發的 sdk，已然成為了中小型公司能最快進入音視頻領域做產品的方案，
未來 WebRTC 在國內的應用，也會越來越廣泛，同時也需要更多開發者投入這個行業，
Metal/Vulkan/D3D 各大巨頭早已推出了下一個 20 年的全新的標準，MediaCodec/AVFoundation 成為移動平臺硬體編解碼的標配，
如果沒有特殊需求，在 iOS 上，你可以直接使用硬體編解碼，不要使用FFmpeg 了；在安卓上，很多年前我們說的是硬編軟解，目前，也應該可以直接上硬體編解碼了，
可這樣的話，那 FFmpeg 還有用嗎？OpenGL/ES 還要學嗎？
答案是肯定的，需要學習，
初學者用 FFmpeg 作為入門，進入音視頻領域，不僅能學到非常多的音視頻領域的基礎知識，還能體驗 FFmpeg 優雅的 C 語言封裝的 API、AVFormatContext、AVCodecContex……
商業產品可能用到的 FFmpeg API 非常少，但作為音視頻領域曾經非常重要的技術框架，它值得你去了解去探索，對于深入從事編解碼演算法的程式員或者做芯片開發的程式員來說，FFmpeg 解碼器、X264 編碼器開源的代碼都可以成為非常好的參考資料，
那么，可以直接學習 Vulkan/Metal，而不用看 OpenGL/ES 嗎？
肯定是不能的，原因在于計算機圖形學的基礎知識、向量、坐標系、矩陣演算法等等都是基于 OpenGL ，甚者是 D3D 的，很多時候，我們依然能從 2000 年左右，一些老程式員的文章資料中學習到東西，事實上，當我們用 Metal/Vulkan API 去寫專案的時候，比如寫一個渲染引擎或者互動式 3D 的建模工具，遇到的問題，跟用 OpenGL 去寫遇到的問題一模一樣，
未來？
新技術的革命，會創造一大批公司，比如 08 年，拿 OpenGL ES 的游戲引擎來寫游戲可能就會創造價值幾十億的公司，
2017 年后移動互聯網紅利已經結束，
下一個 10 年，技識訓是那些技術，主角或許將從移動 App 變成 AI、邊緣計算，
如果不是xx戰，今年海思 4T 算力的 AI 芯片可能會下探到 10 個美金以下，芯片的大規模量產，價格下降，會帶動行業新一輪變革，
與之對應，軟體開發者也會有全新的機會，個人認為，從事音視頻、網路通訊相關開發，OpenGL/ES 都是必須要掌握的，OpenCV, Tensorflow-lite是深度學習的基礎，
所以單純聊 FFmpeg 已經沒有什么意義，聊點音視頻、數字影像處理、網路通訊這些跟 FFmpeg 相關的，或許更有參考價值，
FFmpeg 的未來在哪里？一項技術只能在一個合適的時間段解決一個特定的問題，
或許在未來的某個產品里面，我們會用到 FFmpeg 的一些功能，OpenGL/ES 也是這樣，比如想在 iOS 上做并行計算和 AI 影像處理，那就不得不用 Metal，
開源與商業，個人的態度是尊重開源，嚴格按照開源協議來做商業產品，開源打破了壟斷，消除了行業壁壘，推動了社會的進步，希望未來國內能做出更多更好的產品，占據行業制高點并且帶動行業完成產業升級，商業產品的成功一方面可以帶動就業，另一方面，眾多消費者也能從中獲益，
寫 FFmpeg 相關的文章，單純寫 FFmpeg 20 年的發展歷史是不完善的，所以引出了 OpenGL 網路通訊等相關框架相互補充說明，期望本文能帶給你一些啟示！
作者簡介：陳超，CTO 10年+ C/C++ 開發者，先后就職于德國 BOSCH，iBabyLabs 等企業擔任主程, 精通嵌入式 Linux、iOS、Android 底層開發，音視頻、網路通訊協議/流媒體開發，精通 Qt、FFmpeg、Metal、OpenGL 等開發庫，
更多精彩推薦
?曾被“勸退”的 C++ 20 正式發布！
?蘋果官網出現價格Bug：千元產品變百元；阿里云開源量子模擬平臺“太章2.0”|極客頭條
?跨平臺將終結
?25 歲的 JavaScript 都經歷了什么？
?最令人討厭的編程語言：C++ Java 上榜
?Rust 2020 調查報告出爐，95%的開發者吐槽Rust難學
?從“卡脖子”到“主導”，國產資料庫 40 年的演變！
點分享點點贊點在看
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/240596.html
標籤：其他