作者 | 高衛華
出品 | AI科技大本營
近年來，基于生成對抗網路GAN模型，影像生成領域實作了許多有趣的應用，尤其是在繪畫創作方面，
英偉達曾在2019年提出一款名叫GauGAN的神經網路作圖工具，可以利用GAN將語意分割圖轉換為逼真的影像，即使不擅長作畫的用戶，也能有機會享受到作畫的樂趣，將粗糙的涂鴉變成照片級的寫實作品，通過100 萬張圖片的訓練結果，該工具的神經網路技術能夠根據對真實影像的了解，填充所有細節和紋理，以及反射、陰影和顏色，自動生成寫實的美麗風景圖，
此外，MIT和IBM沃森聯合實驗室也曾聯合發布一個在線工具AI Portraits Ars，該工具可利用AI將用戶上傳的照片變成文藝復興時期的大師畫作，一度成為熱門網站，其資料庫涵蓋從倫勃朗、提香再到梵高等著名藝術家的藝識訓畫風格，并且，其研究人員表示，AI Portraits Ars并不是單純的轉換風格，而是由模型自己決定肖像的樣式，完全重新設計照片中的面部線條，
肖像畫方面，在CVPR2019上，清華大學計算機系的劉永進教授課題組提出了一個層次化的GAN模型APDrawingGAN，可將人臉照片轉化為高質量的藝術肖像線潭訓，
前不久，reddit上的一個技術博主AtreveteTeTe基于StyleGAN模型，開發了一個可將普通人像照片卡通化的應用，并通過First Order Motion模型生成了影片；類似的AI應用還有Cartoonize，其核心技術來自CVPR 2020的投稿論文，在該應用上一鍵上傳拍攝的影像或視頻，就可以在很短時間內將它卡通化，
大多數GAN研究都集中在西方藝術上，目前我們已經看到不少AI生成寫實主義、后現代，甚至是抽象主義的作品，而很少能看到AI在傳統東方藝術上的表現，傳統東方藝術同樣擁有悠久的歷史和深刻的文化意義，在美學上也與西方藝術一樣值得深入研究，
近日，一位普林斯頓大學的本科學生Alice Xue將目光投向了中國山水畫，在畢業論文中開發了一款名為SAPGAN（Sketch-And-Paint GAN)的AI模型，該模型可以“從無到有”生成高質量的中國山水畫，
（a）由人類藝術家創建的中國山水畫；
（b）基線模型（頂部繪畫來自RaLSGAN，底部繪畫來自StyleGAN2 ）；
（c）和（d）通過提出的Sketch-And-Paint框架，結合RaLSGAN和StyleGAN2繪制
實作程序
傳統中國山水畫在繪制程序中，一般有勾、皴、點、染等步驟，顧名思義，就是先勾畫出大致輪廓，再進行渲染，而AIice提出的端到端生成中國山水畫無條件輸入模型，遵循的也是這個步驟，
為了實作這一程序，AIice構建了兩個模型：Stage I: SketchGAN ；Stage II: PaintGAN，SketchGAN是從樣本影像中采集高解析度的邊緣圖，而PaintGAN是根據SketchGAN進行“翻譯”創作，從而生成一幅完整的山水畫，
訓練資料集
SAPGAN模型是基于一個新的中國傳統山水畫資料集上訓練的，這一資料集不是來自百度或者谷歌，而是由作者本人收集畫作并建立的，
AIice表示，目前的山水畫資料集存在不唯一性和影像質量及數量不足的問題，為了促進該領域的更多研究發展，Alice建立了一個涵蓋2192幅高質量中國傳統山水畫的新資料集，并在GitHub上發布了這一資料集，供公眾研究使用，
資料集中的山水畫來自史密森尼弗里爾美術館、大都會藝術博物館、普林斯頓大學美術館和哈佛大學美術館等開放式博物館畫廊，Alice還手動過濾掉了非景觀藝術品，并手工裁剪調整其大小，以進行模型訓練，
真實性測驗
論文中提到，為驗證SAPGAN創作畫作的真實性，進行了一項有242名參與者的視覺圖靈測驗，而測驗結果出乎意料，
SAPGAN創作出的畫作被誤認為人類藝術品的頻率高達55%，而基線GAN模型創作的畫作僅以11％的頻率出現，在美學品質方面，SAPGAN模型在所有藝術類別中的評分也始終高于基線GAN模型，
測驗人員中，有29位是中國人，其余都是以英語為母語的外國人，然而，比較其測驗結果得出，華語應試者判斷畫作來源的準確率明顯低于講英語的應試者，說漢語的參與者平均得分為49.2%，明顯低于說英語參與者的73.5%，也就是說，說中文的人70%的時候還會把SAPGAN的畫誤認為是人，而整體水平是55%，
顯然，無論是否熟悉中國文化，參與者都難以區分畫作的來源，由此也可見SAPGAN模型所生成畫作的真實感，
更令人驚訝的是，在做這項研究之前，Alice從未上過機器學習課程，作為一個新手，她反而找到了更有趣的角度去處理問題，得出這樣一項創新研究成果，
論文鏈接：
https://arxiv.org/pdf/2011.05552.pdf
資料集鏈接：
https://github.com/alicex2020/Chinese-Landscape-Painting-Dataset
更多精彩推薦
關于動態規劃，你想知道的都在這里了！
升級版“絕悟”AI自帶“軍師”，解禁王者榮耀全英雄池
文本分類六十年
開發者實測 M1 芯片報告：除了大型應用程式啟動慢點，整體性能優秀！
干貨：18 張思維導圖，后端技術學習路線長這樣！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qianduan/232600.html
標籤：其他