列夫·托爾斯泰說過：「藝術是一種人類活動，一個人通過某種外在符號，有意識地把自己經歷過的感受傳達給別人，而別人也會被這些感受所感染，真切地體驗到這些感受，」
以藝識訓作為例，每一幅作品的背后，都蘊藏著畫家的某種情感，梵高、畢加索等著名畫家，都曾在不同創作時期，通過不同色彩、構圖等，表達自己當時所特有的心境與情緒，
計算機能否理解這些藝識訓作中所蘊含的感情色彩呢？斯坦福大學的計算機科學研究團隊，收集了一個名為 ArtEmis 的新資料集，包含大量的藝識訓作及人工標注的相應情感體驗，并訓練出能夠對視覺藝術產生情感反應的計算機模型，
理解畫作，從情感標記資料集開始
WikiArt：線上名畫博物館
非營利性的志愿專案 WikiArt，自 2010 年上線至今，收錄了來自世界各地的視覺藝術作品，堪稱大型線上名畫博物館，
據該網站資料顯示，截至 2020 年 1 月，該網站共收錄來自 3293 位藝術家的 169057 件畫作，包括 61 個流派，
WikiArt 上面畫作數量龐大、分類清晰，因此也成為許多 AI 領域研究者用來訓練演算法的資料集，
2015 年，羅格斯大學與 Facebook AI 實驗室的研究人員，合作開發了 GAN（生成對抗網路），就在 WikiArt 資料上對其進行了訓練，讓 GAN 能夠區分不同風格的藝術，
ArtEmis：誕生于 WikiArt 的新資料集
斯坦福大學團隊則基于 WikiArt 上的作品，創建了一個新的視覺藝術標注資料集 ArtEmis，
他們對 WikiArt 上 1119 位藝術家的 81446 件藝術作品，一一進行了標注，這些作品包括從 15 世紀創作的藝術作品，到 21 世紀創作的現代美識訓，涵蓋了 27 種藝術風格(抽象、巴洛克、立體主義、印象主義等)和 45 種流派(城市景觀、風景、肖像、靜物等)，給觀眾帶來非常多樣化的視覺沖擊，
其中，每個作品要求至少 5 個標注者，寫出他們看到這幅畫作時的主導情緒，并解釋產生這種情緒的原因，
具體來說，要求標注者在觀察一件藝術品后，先從 8 種基本情緒狀態（憤怒、厭惡、恐懼、悲傷、娛樂、敬畏、滿足和興奮）中，選一種自己所感受到的主要情緒，如果以上 8 種情緒都不是，也可以標注「其它」，
標注了情緒感受之后，標注者需要再用文字，進一步解釋自己為什么產生這種感覺，或者為什么沒有任何強烈的情緒反應，
以下為人工標注者為畫作標注的情感標簽，以及詳細解釋：
這份標注作業最終由亞馬遜眾包平臺的 6377 名標注者完成，總共耗時 10220 個小時，
團隊表示，與其他現有同類資料集相比，ArtEmis 的標注使用了更加豐富、感性且多樣化的語言，這些標注形成的語料庫，共包含了 36347 個不同的詞語，
ArtEmis 資料集視覺藝術的情感標記資料集
發布機構：斯坦福大學，巴黎綜合理工學院以及阿卜杜拉國王科技大學
包含數量：共 439121 潭訓作標注
資料格式：csv
資料大小：21.8 MB
地址：點此訪問
一個可感知情感的演算法，是怎樣煉成的
為了讓計算機也能夠像人類一樣，對視覺藝術產生情感反應，并用語言證明產生這些情感的原因，團隊基于這一大規模資料集，訓練了一個 Neural Speaker（神經表達者），
斯坦福大學 HAI 學院的教授 Guibas 表示，這是計算機視覺領域中一項新的探索，此前經典的計算機視覺方法，往往是指出影像中有哪些內容，比如：有三只狗；有人正在喝咖啡……而他們的這項作業，則是定義視覺藝術中的情感，
經過 ArtEmis 資料集訓練之后，演算法識別出不同的畫作中蘊含的情感，并自動生成了這樣判斷的依據，示例結果如下：
論文中介紹了具體訓練思路，首先，用 ArtEmis 來訓練模型，實作藝識訓作的情感解釋問題，這屬于經典的 9 路文本分類問題，團隊使用基于交叉熵的優化，應用于從頭開始訓練的 LSTM 文本分類器，同時也考慮對為這個任務預訓練的 BERT 模型進行微調，
另外，讓計算機對人類通常會對作品產生的情緒反應進行預測，
為了解決這個問題，團隊將輸出和 ArtEmis 用戶標注之間的 KL-分歧最小化，以此對基于 ImageNet 的預訓練 ResNet32 編碼器進行微調，
對于給定的一幅畫作，分類器先判斷其傳達的情感是積極還是消極，再進一步判斷具體是哪種情感，
團隊介紹，對于一幅畫作，演算法不僅能夠感知整體的情感色彩，還能區分畫中不同人物的感情，以這幅倫勃朗的《被斬首的圣施洗者約翰》為例，AI 演算法不僅捕捉到了被斬首的約翰的痛苦，還感知到了畫中被獻首的女性莎樂美的「滿足」，
當演算法擁有了共情能力
人類的情感非常豐富且復雜微妙，即使是我們人類自己，也并不能百分之百理解某些藝術家想要表達的心情，所以，要讓 AI 精準地理解藝術家的意圖，目前必然還存在一定挑戰，
不過，此次 ArtEmis 資料集的發布，已經讓 AI 在處理影像情感屬性方面，邁出了第一步，
團隊表示，待進一步研究與改進之后，演算法或許能夠感知人類的悲歡，藝術家便可借助演算法，評估自己的作品是否能達到預期的情感表達效果，另外，一旦演算法能通人性，人機互動的程序也將更加自然、和諧，
新聞來源：
https://techxplore.com/news/2021-03-artist-intent-ai-emotions-visual.html
資料集論文：https://arxiv.org/pdf/2101.07396.pdf
專案主頁：https://www.artemisdataset.org/#videos
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/273652.html
標籤：AI