作者 | 宋慧
出品 | AI科技大本營
提起童年記憶的國漫經典,你會想到哪一部?幾十年前,水墨影片《小蝌蚪找媽媽》、手繪風《哪吒鬧海》、木偶片《阿凡提》、剪紙藝術《葫蘆兄弟》……這些老國產影片片,藝術風格千姿百態,堪稱部部經典,而在10月20日,在一場由西瓜視頻和火山引擎舉辦的、頗具技術范兒的老國產影片片觀影會中,4K 超高清技術竟然讓我們印象里的“老片子”,清晰地展現出了中國傳統藝術的精美和靈動,和幾十年前藝術家的深厚功底,
老片蒙“塵”
上世紀的影片片在 90、00 后眼中,不僅年代久遠,而且因為生產時間較早,清晰度較低,解析度很多在 540p 以下甚至更低,畫面粗糙有瑕疵噪點,可以明顯看到早期制作技術的局限性,不少珍貴影片還不可避免地出現了霉變、污染、脫色、閃爍和丟幀等損傷,老片子仿佛真的在老去,

舉例:畫面模糊,色彩昏暗,有明顯黑線(1960 年《小燕子》)

舉例:畫面存在噪點和鋸齒感(1955 年《神筆馬良》)
保護、搶救這些珍貴的中國經典藝術作品,是重要又緊急的大事,以往的修復作業,需要大量人力財力和時間的投入,許多修復師都坦言,一部老電影的修復所經歷的一系列程序,其中的復雜、艱難程度不亞于制作一部新片,AI 技術進入修復領域后,一定程度上減輕了電影修復的難度,但現階段,仍有大量需要人工修復的地方,需要修復師一幀一幀地去處理,
不過,AI 修復中最難的是要保留影片原有的藝術風格,修復畫質的同時不破壞原有的美感,在《葫蘆兄弟》的修復程序中,一方面要提升前景人物細節的清晰度,另一方面又要兼顧遠景水墨的藝術效果,讓山水保持朦朧的藝術感,在另一個修復影片中,工程師按照常規做法對片子進行補幀,但方案遭到了藝術修復老師的否定,因為補幀反而會破壞原片所要傳達的動作節奏感與主題風格,
這些影片片也是西瓜視頻定義里的經典“中視頻”,在這次觀影會上曝出的最重磅訊息是,西瓜視頻聯手火山引擎宣布,將在未來一年時間里修復 100 部經典影片片,為了最高標準的完成修復,保留藝術品般的經典老片原有美感,他們制定了“一片一方案”,
4K 修復里的 AI 演算法
觀影會上,《葫蘆兄弟》、《黑貓警長》、《哪吒傳奇》等六部影片 4K 版已經正式同步上線,而這些煥發新顏的經典作品背后,復雜的修復作業由火山引擎提供技術支持,
火山引擎的團隊首先將修復的難點和原因,分為了清晰度、流暢度、色彩以及瑕疵四點,其中:
清晰度低:是因為老片解析度低,大量紋理細節丟失,由于老片制作的設備和數字化條件比較差,解析度規格一般都是 720p、540p 甚至更低,老片制作的多個步驟中可能會丟失紋理,比如拍攝鏡頭的模糊、數字化掃描的模糊、數字化壓縮存盤的模糊,
流暢度低:因為制作成本的限制,許多老的影片拍攝或者手繪的幀數較少,往往低于每秒 15 幀,所以觀看的時候會有較強的卡頓感,
色彩失真:膠片保存環境差會導致物理化學損傷,在數字化后就引起各種色彩問題,另外,老電影用舊色彩標準制作,亮度動態范圍普遍較低,畫面對比度差,看起來昏暗,
瑕疵多:老膠片保存環境差,以及播放使用不當,會存在各類物理、化學損傷,呈現出了多種瑕疵,例如椒鹽或者雪花一般的噪點、黑線和閃動,
本次修復老片用到了火山引擎旗下的產品——智能處理的部分能力,修復技術團隊針對上述四個問題,進行了提升清晰度、提升流暢度、色彩增強、消除瑕疵、鋸齒修復等作業,每一項都設計和采用了AI相關的演算法,并且在觀影會上分享了其中的關鍵演算法,
1、提升清晰度:超分重建、去模糊演算法,解析度從 720p 提升至 4k,
在清晰度維度上,團隊采用了超解析度重建和去模糊演算法,使用機器學習對海量高清和低清視頻的資料對比分析,使演算法模型學習高清視頻的特性,執行視頻從低清到高清的轉換,生成缺失的細節,最終實作視頻解析度從 720p 提升到 4k,大幅提高清晰程度,
2、提升流暢度:智能插幀演算法,幀率從 15 提升至 60,
視頻不流暢、卡頓感可以通過提升幀率來改善,火山引擎團隊采用了智能插幀演算法,通過對前后幀的內容分析,生成中間幀內容,將原先不足 15 的幀率,提升至 60 以上,大幅提升流暢度,
視頻降噪、超分、插幀演示:
修復
3、色彩增強:自動化檢測矯正,拓展/轉換色彩空間,
對于色彩失真的問題,首先利用演算法對畫面色偏進行自動化檢測和矯正,讓其恢復原有的觀感;其次,為適應最新顯示設備的色彩標準,火山引擎團隊對老片亮度范圍進行拓展,轉換色彩空間,用更寬的亮度和更豐富的色彩來顯示老片,

色彩增強前后對比
4、消除瑕疵:傳統信號處理+深度學習,重點保護藝術風格,
老片瑕疵相較于以往的視頻瑕疵,不僅型別復雜而且程度更嚴重,為此火山引擎團隊結合了傳統信號處理+深度學習演算法:對于較小的雪花顆粒噪聲,使用傳統演算法進行處理;對于較大的壞點和劃痕,使用機器學習演算法進行識別和修補,
布谷鳥修復.mp4
布谷鳥修復
這里要重點提到,演算法不是萬能的,在實際修復程序中,如果要求演算法做到 100%的處理瑕疵,那么會將一些藝術效果也識別為瑕疵,從而對影片造成了破壞,因此在老片修復程序中,演算法大概能解決 95% 以上的瑕疵問題,剩余的瑕疵由人工輔助標注,之后調整演算法做二次優化,既可以消除瑕疵,也能保護影片原有藝術風格,
另外,對一些損傷嚴重的老片,要消除瑕疵并保留藝術風格,仍然需要投入大量人力,例如在《葫蘆兄弟》消除瑕疵的程序中,修復團隊看了 20 萬幀的畫面,
5、鋸齒修復:線條鋸齒難定位,獨創老片鋸齒修復演算法,
除了以上四類演算法屬于比較常規的修復技術之外,有時老片畫面可以看到明顯的線條鋸齒,而問題只在部分場景中出現,很難定位,嚴重影響觀感之余,也會影響其他演算法的效果,對于老片中非常特殊的鋸齒問題,火山引擎團隊獨創了老片鋸齒修復演算法,

鋸齒修復前后對比
團隊經過多次嘗試和實驗,發現老片中的鋸齒效應是數字化掃描不精準引入的,常見的修復演算法和工具都沒法對其進行處理,所以團隊專門針對性地設計了一套優化演算法,極大改善老片中鋸齒問題,
布局視頻云,火山引擎底氣十足
我們都知道火山引擎是位元組跳動旗下的企業級技術服務平臺,是將位元組跳動快速發展程序中積累的增長方法、技術工具和能力開放給外部企業,提供云、AI、大資料技術等系列產品和服務,幫助企業在數字化升級中實作持續增長,
這次西瓜視頻&火山引擎的老片修復,就是用火山引擎的“智能處理”產品和技術實作,除了智能處理,火山引擎在視頻方面的硬核技術產品有視頻點播、veImageX、企業直播、視頻直播、實時音視頻、云編輯、智能處理,而它們共同組成了火山引擎視頻云產品矩陣,
對于視頻云,火山引擎底氣十足,視頻云屬于火山引擎中臺層面的服務,最大的優勢是與生俱有的視頻播放體驗,這背后是位元組不斷打磨抖音播放技術,以及在用戶體驗上持續迭代的結果,火山引擎團隊曾經用 8 個月的時間,在抖音上試驗了 100 多次,優化自研播放器與解碼能力,這在其他云廠商看來,基本上是不可能的,但在抖音這種大場景的實戰程序中,這些都是他們需要解決的細節和體驗問題,
拿移動端舉例,抖音在多媒體 SDK 上有很多新需求,如視頻預加載、預渲染,拿 A/B 測驗不斷優化產品,把體驗打磨到最佳,首創了“零首幀”技術,雖然整個視頻云是一個紅海,但預加載渲染在視頻云里還是一個空白,其他視頻云廠商對于這類新的需求一時之間難以理解,
除了場景下對技術的反復打磨,火山引擎也積極參與國際標準制定,實作了從標準跟隨者到制訂者的跨越,目前,在國際標準 H.266/VVC 標準貢獻者排行榜上,位元組跳動排名第三,在排行榜前五的企業中,位元組跳動作為一家年輕的互聯網企業,是唯一一家沒有參與上一代視頻編解碼標準開發的公司,標準制定程序中,位元組跳動發起的 100 多項技術提案獲得 H.266/VVC 標準采納,形成一系列原創性技術,為公司積累了數百項視頻相關的知識產權,
對于 H.266/VVC 標準商業落地,早在 2019 年 6 月,團隊已經完成滿足點播場景應用的自研編碼器 BVC 第一個版本,該版本與 x265 編碼器相比,在相同計算資源下,針對大量的 1080p 高清視頻,BVC 編碼器可以將平均碼率下降 33%,之后,BVC 經過不斷迭代,性能又有大幅提升,除了自研編碼器,自研解碼器也已經配套完成,
除此之外,火山引擎還在繼續探索視頻云的技術方向,團隊透露將在基于新興深度學習的視頻壓縮、基于傳統混合視頻編碼框架技術上繼續挖掘,比如火山引擎團隊提出的一種基于深度學習的自適應濾波器 DAM 演算法已經可以獲取 15%以上的性能增益;而基于混合視頻編碼框架的多項技術提升合在一起,可以帶來超過 13%以上的性能增益,
這次使用 AI 演算法修復老片,用技術拂去時間的灰塵,傳承傳統文化藝術之外,西瓜視頻還將為有價值的視頻提供公益修復,同時為用戶免費開放了 4K 修復功能,另外,本次修復老片背后的智能處理技術也已經通過火山引擎開放給企業用戶,開發者可以通過火山引擎智能處理提升視頻處理技術效率,而布局視頻云,既是位元組跳動和火山引擎順勢而為,也是火山引擎團隊專注核心技術研發的成果,將視頻技術能力開放,火山引擎視頻云的未來,值得業界關注和期待,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/337851.html
標籤:其他
