主頁 >  其他 > 看了 4K 經典中視頻,我才知道 30 多年前的藝術家有多牛

看了 4K 經典中視頻,我才知道 30 多年前的藝術家有多牛

2021-10-27 10:58:35 其他

作者 | 宋慧

出品 | AI科技大本營

提起童年記憶的國漫經典,你會想到哪一部?幾十年前,水墨影片《小蝌蚪找媽媽》、手繪風《哪吒鬧海》、木偶片《阿凡提》、剪紙藝術《葫蘆兄弟》……這些老國產影片片,藝術風格千姿百態,堪稱部部經典,而在10月20日,在一場由西瓜視頻和火山引擎舉辦的、頗具技術范兒的老國產影片片觀影會中,4K 超高清技術竟然讓我們印象里的“老片子”,清晰地展現出了中國傳統藝術的精美和靈動,和幾十年前藝術家的深厚功底,

老片蒙“塵”

上世紀的影片片在 90、00 后眼中,不僅年代久遠,而且因為生產時間較早,清晰度較低,解析度很多在 540p 以下甚至更低,畫面粗糙有瑕疵噪點,可以明顯看到早期制作技術的局限性,不少珍貴影片還不可避免地出現了霉變、污染、脫色、閃爍和丟幀等損傷,老片子仿佛真的在老去,

舉例:畫面模糊,色彩昏暗,有明顯黑線(1960 年《小燕子》)

舉例:畫面存在噪點和鋸齒感(1955 年《神筆馬良》)

保護、搶救這些珍貴的中國經典藝術作品,是重要又緊急的大事,以往的修復作業,需要大量人力財力和時間的投入,許多修復師都坦言,一部老電影的修復所經歷的一系列程序,其中的復雜、艱難程度不亞于制作一部新片,AI 技術進入修復領域后,一定程度上減輕了電影修復的難度,但現階段,仍有大量需要人工修復的地方,需要修復師一幀一幀地去處理,

不過,AI 修復中最難的是要保留影片原有的藝術風格,修復畫質的同時不破壞原有的美感,在《葫蘆兄弟》的修復程序中,一方面要提升前景人物細節的清晰度,另一方面又要兼顧遠景水墨的藝術效果,讓山水保持朦朧的藝術感,在另一個修復影片中,工程師按照常規做法對片子進行補幀,但方案遭到了藝術修復老師的否定,因為補幀反而會破壞原片所要傳達的動作節奏感與主題風格,

這些影片片也是西瓜視頻定義里的經典“中視頻”,在這次觀影會上曝出的最重磅訊息是,西瓜視頻聯手火山引擎宣布,將在未來一年時間里修復 100 部經典影片片,為了最高標準的完成修復,保留藝術品般的經典老片原有美感,他們制定了“一片一方案”,

4K 修復里的 AI 演算法

觀影會上,《葫蘆兄弟》、《黑貓警長》、《哪吒傳奇》等六部影片 4K 版已經正式同步上線,而這些煥發新顏的經典作品背后,復雜的修復作業由火山引擎提供技術支持,

火山引擎的團隊首先將修復的難點和原因,分為了清晰度、流暢度、色彩以及瑕疵四點,其中:

清晰度低:是因為老片解析度低,大量紋理細節丟失,由于老片制作的設備和數字化條件比較差,解析度規格一般都是 720p、540p 甚至更低,老片制作的多個步驟中可能會丟失紋理,比如拍攝鏡頭的模糊、數字化掃描的模糊、數字化壓縮存盤的模糊,

流暢度低:因為制作成本的限制,許多老的影片拍攝或者手繪的幀數較少,往往低于每秒 15 幀,所以觀看的時候會有較強的卡頓感,

色彩失真:膠片保存環境差會導致物理化學損傷,在數字化后就引起各種色彩問題,另外,老電影用舊色彩標準制作,亮度動態范圍普遍較低,畫面對比度差,看起來昏暗,

瑕疵多:老膠片保存環境差,以及播放使用不當,會存在各類物理、化學損傷,呈現出了多種瑕疵,例如椒鹽或者雪花一般的噪點、黑線和閃動,

本次修復老片用到了火山引擎旗下的產品——智能處理的部分能力,修復技術團隊針對上述四個問題,進行了提升清晰度、提升流暢度、色彩增強、消除瑕疵、鋸齒修復等作業,每一項都設計和采用了AI相關的演算法,并且在觀影會上分享了其中的關鍵演算法

1、提升清晰度:超分重建、去模糊演算法,解析度從 720p 提升至 4k,

在清晰度維度上,團隊采用了超解析度重建和去模糊演算法,使用機器學習對海量高清和低清視頻的資料對比分析,使演算法模型學習高清視頻的特性,執行視頻從低清到高清的轉換,生成缺失的細節,最終實作視頻解析度從 720p 提升到 4k,大幅提高清晰程度,

2、提升流暢度:智能插幀演算法,幀率從 15 提升至 60,

視頻不流暢、卡頓感可以通過提升幀率來改善,火山引擎團隊采用了智能插幀演算法,通過對前后幀的內容分析,生成中間幀內容,將原先不足 15 的幀率,提升至 60 以上,大幅提升流暢度,

視頻降噪、超分、插幀演示:

<iframe id="SWxxJNZx-1635225917748" src="https://player.bilibili.com/player.html?aid=933789935" allowfullscreen="true" data-mediaembed="bilibili"></iframe>

修復

3、色彩增強:自動化檢測矯正,拓展/轉換色彩空間,

對于色彩失真的問題,首先利用演算法對畫面色偏進行自動化檢測和矯正,讓其恢復原有的觀感;其次,為適應最新顯示設備的色彩標準,火山引擎團隊對老片亮度范圍進行拓展,轉換色彩空間,用更寬的亮度和更豐富的色彩來顯示老片,

色彩增強前后對比

4、消除瑕疵:傳統信號處理+深度學習,重點保護藝術風格,

老片瑕疵相較于以往的視頻瑕疵,不僅型別復雜而且程度更嚴重,為此火山引擎團隊結合了傳統信號處理+深度學習演算法:對于較小的雪花顆粒噪聲,使用傳統演算法進行處理;對于較大的壞點和劃痕,使用機器學習演算法進行識別和修補,

布谷鳥修復.mp4

<iframe id="0uxqWlhg-1635225812237" src="https://player.bilibili.com/player.html?aid=208803210" allowfullscreen="true" data-mediaembed="bilibili"></iframe>

布谷鳥修復

這里要重點提到,演算法不是萬能的,在實際修復程序中,如果要求演算法做到 100%的處理瑕疵,那么會將一些藝術效果也識別為瑕疵,從而對影片造成了破壞,因此在老片修復程序中,演算法大概能解決 95% 以上的瑕疵問題,剩余的瑕疵由人工輔助標注,之后調整演算法做二次優化,既可以消除瑕疵,也能保護影片原有藝術風格

另外,對一些損傷嚴重的老片,要消除瑕疵并保留藝術風格,仍然需要投入大量人力,例如在《葫蘆兄弟》消除瑕疵的程序中,修復團隊看了 20 萬幀的畫面,

5、鋸齒修復:線條鋸齒難定位,獨創老片鋸齒修復演算法,

除了以上四類演算法屬于比較常規的修復技術之外,有時老片畫面可以看到明顯的線條鋸齒,而問題只在部分場景中出現,很難定位,嚴重影響觀感之余,也會影響其他演算法的效果,對于老片中非常特殊的鋸齒問題,火山引擎團隊獨創了老片鋸齒修復演算法

鋸齒修復前后對比

團隊經過多次嘗試和實驗,發現老片中的鋸齒效應是數字化掃描不精準引入的,常見的修復演算法和工具都沒法對其進行處理,所以團隊專門針對性地設計了一套優化演算法,極大改善老片中鋸齒問題,

布局視頻云,火山引擎底氣十足

我們都知道火山引擎是位元組跳動旗下的企業級技術服務平臺,是將位元組跳動快速發展程序中積累的增長方法、技術工具和能力開放給外部企業,提供云、AI、大資料技術等系列產品和服務,幫助企業在數字化升級中實作持續增長,

這次西瓜視頻&火山引擎的老片修復,就是用火山引擎的“智能處理”產品和技術實作,除了智能處理,火山引擎在視頻方面的硬核技術產品有視頻點播、veImageX、企業直播、視頻直播、實時音視頻、云編輯、智能處理,而它們共同組成了火山引擎視頻云產品矩陣

對于視頻云,火山引擎底氣十足,視頻云屬于火山引擎中臺層面的服務,最大的優勢是與生俱有的視頻播放體驗,這背后是位元組不斷打磨抖音播放技術,以及在用戶體驗上持續迭代的結果,火山引擎團隊曾經用 8 個月的時間,在抖音上試驗了 100 多次,優化自研播放器與解碼能力,這在其他云廠商看來,基本上是不可能的,但在抖音這種大場景的實戰程序中,這些都是他們需要解決的細節和體驗問題,

拿移動端舉例,抖音在多媒體 SDK 上有很多新需求,如視頻預加載、預渲染,拿 A/B 測驗不斷優化產品,把體驗打磨到最佳,首創了“零首幀”技術,雖然整個視頻云是一個紅海,但預加載渲染在視頻云里還是一個空白,其他視頻云廠商對于這類新的需求一時之間難以理解,

除了場景下對技術的反復打磨,火山引擎也積極參與國際標準制定,實作了從標準跟隨者到制訂者的跨越,目前,在國際標準 H.266/VVC 標準貢獻者排行榜上,位元組跳動排名第三,在排行榜前五的企業中,位元組跳動作為一家年輕的互聯網企業,是唯一一家沒有參與上一代視頻編解碼標準開發的公司,標準制定程序中,位元組跳動發起的 100 多項技術提案獲得 H.266/VVC 標準采納,形成一系列原創性技術,為公司積累了數百項視頻相關的知識產權,

對于 H.266/VVC 標準商業落地,早在 2019 年 6 月,團隊已經完成滿足點播場景應用的自研編碼器 BVC 第一個版本,該版本與 x265 編碼器相比,在相同計算資源下,針對大量的 1080p 高清視頻,BVC 編碼器可以將平均碼率下降 33%,之后,BVC 經過不斷迭代,性能又有大幅提升,除了自研編碼器,自研解碼器也已經配套完成,

除此之外,火山引擎還在繼續探索視頻云的技術方向,團隊透露將在基于新興深度學習的視頻壓縮、基于傳統混合視頻編碼框架技術上繼續挖掘,比如火山引擎團隊提出的一種基于深度學習的自適應濾波器 DAM 演算法已經可以獲取 15%以上的性能增益;而基于混合視頻編碼框架的多項技術提升合在一起,可以帶來超過 13%以上的性能增益,

這次使用 AI 演算法修復老片,用技術拂去時間的灰塵,傳承傳統文化藝術之外,西瓜視頻還將為有價值的視頻提供公益修復,同時為用戶免費開放了 4K 修復功能,另外,本次修復老片背后的智能處理技術也已經通過火山引擎開放給企業用戶,開發者可以通過火山引擎智能處理提升視頻處理技術效率,而布局視頻云,既是位元組跳動和火山引擎順勢而為,也是火山引擎團隊專注核心技術研發的成果,將視頻技術能力開放,火山引擎視頻云的未來,值得業界關注和期待,

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/337851.html

標籤:其他

上一篇:微信小程式音頻或視頻拖動進度條時間不變解決方法

下一篇:在Linux上實作自定義的 ls命令

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more