文 | 小戲
讓我們先來看一組漂亮的小姐姐：
如果說，這四張照片里有一張并不是真人，而是由 GAN 生成的虛擬人像，大家可以看出是哪一張嗎？
答案揭曉！在這一組照片中，由 GAN 生成的虛擬人像是二號小姐姐，可以看到，無論如何，目前由 GAN 及其衍生技術所生成的虛擬人像已經完全可以達到以假亂真的程度，其生成的人臉很難被人類從視覺上進行分辨，這自然是人像生成領域的一大進步，然而，這種可以被以極低成本大量生產的虛擬人像很容易被濫用于諸如虛假資訊欺詐、社交媒體頭像等等地方，
在這些場景下，如何從大量圖片資訊中分類出真實人臉與虛擬人像便成為了一個新的問題，其實初想或許會覺得這是一件很容易的二分類的問題，可以如果仔細一想一個二分類的判別器很難在 GAN 的訓練機制下對分類真實人臉與虛擬人像取得良好的分類效果與魯棒性，
在這樣的背景下，來自 UAlbany 的學者們另辟蹊徑，提出了一種基于物理的方法，通過暴露出 GAN 模型本身與真實物理世界互動的缺陷來巧妙識別出真實人臉與虛擬人像的方法，即通過識別瞳孔的形狀來判斷人臉的真實與否，讓我們來看看這篇論文吧！
論文題目：
EYES TELL ALL: IRREGULAR PUPIL SHAPES REVEAL GAN-GENERATED FACES
論文鏈接：
https://arxiv.org/abs/2109.00162
Arxiv訪問慢的小伙伴也可以在 【夕小瑤的賣萌屋】訂閱號后臺回復關鍵詞 【0915】 下載論文PDF~
從上圖可以看到，我們的眼睛中心是虹膜與瞳孔，白色的區域是鞏膜，對于一個健康的成年人而言，瞳孔的形狀一般是圓形的，如上圖下方左側的影像，從正面看瞳孔趨于正圓，而論文作者發現，使用 GAN 等技術生成的人臉，其瞳孔形狀是不規則的，放大由 GAN 生成的虛假人像可以清楚的看到，其瞳孔的形狀呈現了明顯的不規則，
論文作者推斷，出現這種現象的根本原因在于，類似 GAN 等模型實質上缺乏對人眼結構的真正理解，換而言之，GAN 等模型在生成人像時，仍然缺乏從人類生理結構出發的約束，而這種機制上的缺陷為判別真實人像與虛擬人像提供了可能，
總的來說，論文提出的虛擬人像檢測方法分為三步，如下圖所示，對于一張輸入的人像（a），首先需要定位到人像的瞳孔部分，得到如下圖（b）的結果，接下來論文使用 EyeCool 演算法從（b）中提取得到瞳孔掩膜(Pupil Mask)，勾勒出瞳孔邊界，如下圖（c）所示，同時，論文提出了一種基于最小二乘的橢圓擬合方法，得到理想情況下真實人像的橢圓形瞳孔掩膜（d）（這里使用橢圓而非正圓的原因在于由于人像拍攝角度的印象，導致一般而言圖片人像瞳孔趨于橢圓），最后通過改進的考慮邊界的 IoU 演算法（BIoU）計算得到影像與理論上真實瞳孔形狀之間的差異，從而判斷輸入人像是否是真實人像，
根據這種方法，作者選用 Flickr-Faces-HQ (FFHQ) 資料集的一千張人臉作為真實人臉，使用 StyleGAN2 創建了一千張虛擬人臉進行實驗，
實驗發現使用瞳孔形狀可以有效的區分真實人臉與虛擬人臉，演算法的 AUC 分數達到了0.94，其評估指標——即 BIoU 值在真實人臉與虛擬人臉之間的分布也呈現了較大的差異，
我們可以看到，這篇論文提出了一個簡單有效的方法區分真實人像與虛擬人像，這種方法在保證了準確率的同時，又提供了很好的可解釋性，甚至拋開演算法，這個思路對我們使用肉眼判斷人像真實與否都有很好的實踐價值，
目前，無論是影像生成還是文字生成，其實質上都是一種自下而上的重復模仿，或多或少都缺乏一些如這篇論文所描述的一樣真實人臉的生理約束或是自然語言領域的語法句法，如何在進行生成時能更多的考慮這樣自上而下的先驗資訊，使得這種先驗資訊不僅可以作為評價真實與否的方式方法，更能作為影像或文字生成時的內在約束，或許是更為有意義的問題吧！
萌屋作者：小戲
邊學語言學邊學NLP~
作品推薦
千呼萬喚始出來——GPT-3終于開源！
Linux 程 序 員 失 業 警 告
后臺回復關鍵詞【入群】
加入賣萌屋NLP/IR/Rec與求職討論群
后臺回復關鍵詞【頂會】
獲取ACL、CIKM等各大頂會論文集！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/300958.html
標籤：AI