它為什么是人臉識別中的 “不定時炸彈”？丨獨家公開課實錄

近幾年，機器學習的安全問題逐漸被研究者們所重視，其中最熱門的方向之一就是人臉對抗攻擊，

全球范圍內，從社交媒體中的照片標記到自動邊境控制 (ABC)，人臉識別 (FR) 系統展示了出色的驗證性能，證明這項技術適用于現實世界，但是該領域的研究者也非常清楚，在現實環境中應用人臉識別系統，僅僅提升識別效率是遠遠不夠的，決定一個人臉識別系統能力如何的另一項重要能力在于它對潛在攻擊的抵御水平，

越來越多的研究表明，FR 系統會對一些難以察徑訓可察覺但看起來很自然的對抗性輸入影像有著相當的脆弱性，這些對抗性輸入會導致模型的輸出出現失誤，與此同時，如何應對這些對抗性輸入影像的解決方案也層出不窮，

近日，biendata 平臺邀請科大訊飛金牌講師阿水，共同打造一門針對人臉識別的 AI 對抗攻防系列課程，主題囊括對抗樣本介紹、人臉識別對抗樣本、對抗防御、視頻人臉檢測與對抗防御等，

除對抗攻防的知識講解外，課程還設有實戰專案演練：以時下兩個熱門的 AI 對抗主題的競賽為案例，詳細講解賽題及 baseline 模型代碼，讓參與學習的同學能夠學以致用，快速上手實戰，

其中一個比賽是【2021 OPPO 安全 AI 挑戰賽】，目前正在招募選手，參賽詳情見《60 萬元總獎金：2021 “OPPO 安全 AI 挑戰賽” 初賽正式啟動，聚焦人臉識別攻防》；baseline 詳情見《baseline 發布 | OPPO 安全 AI 挑戰賽，人臉識別對抗攻擊賽題詳解》

本文為第一講課程演講實錄整理，點擊文末 “閱讀原文” 可獲取視頻，“資料實戰派后臺” 按指示可獲取 ppt，獲取代碼、加入課程及競賽討論群可添加小助手，

第一講分享大綱如下：

一、對抗樣本介紹

首先介紹對抗樣本，其英文名字叫 Adversary Example ，這個概念在 2014 年由 Ian GoodFellow 提出來的，它是一個非常重要的深度學習的概念，

那么，對抗樣本到底是什么？

對抗樣本的定義是，在資料集中故意加入一些細微的干擾所形成的輸入樣本，它可以讓樣本針對我們的模型來輸出錯誤的決策，

可以看下圖案例中，左邊是一只豬的照片，對它加入了一個具體的、特定的噪音之后，就轉變成了一個對抗樣本，在此種情況下，我們的模型會對輸出結果進行分類錯誤，
然后，需要注意的是，對抗樣本的產生最初是在深度學習模型中被提出來的，但是這個物件在非深度學習的場景下，也是可以解釋得通的，

在我們的日常生活中，在一個線性的決策空間中，對兩類做具體劃分（二分類）的情況下，是可以有一個超平面對這些點進行一個劃分，這種情況下，利用不同顏色的點，不同元，一個圓圈一個叉，分別代表我們的兩類樣本，

假如有一個超平面，能夠把一個點分割開，那么這種情況下可能會有一些錯誤的樣本出現，出現錯誤樣本是很正常的，一張照片也不一定會對所有的樣本識別正確，

在一個線性模型里，或者說在 SVM 中，是有支持向量的，根據圖進行解釋，有一些樣本它可能與我們的原始樣本相差不大，但是模型就是會分類錯誤，

為何我們提到線性模型？其實，神經網路是由很多層網路組成，它也都有線性的單元在里面，

比如說 Relu ，或者 Maxout 這一類的激活函式，都是分段線性的，或者說 sigmoid ，也可以把它視為類似線性的，同樣的還有 LSTM ，因此從這種基礎的線性特性來解釋對抗樣本也是解釋得通的，

對抗樣本有兩個特點，

第一， Transferability ，即對抗樣本是可以遷移的，

一個網路模型產生的對抗樣本，可以在另一個網路模型上也起作用，也就是說，一個對抗樣本能夠讓模型 a 誤分類，它也可以讓模型 b 誤分類，

這種情況下，模型 a 和模型 b 都是深度學習的神經網路，它們有可能是不同的網路結構，也可能訓練的資料不同，但對抗樣本的遷移性其實是非常好的，

第二，在遇到一些對抗樣本的時候，我們用肉眼來看似乎是沒什么區別，但是這些細微的差別，足以讓神經網路對它誤分類，

舉一個很簡單的例子，有一張飛機的照片，對這張照片加入了具體的專案速度上的擾動，然后讓網路模型去做分類時，飛機就被誤分類為鳥類，相當于類別變錯了，

在此種情況下，加的像素差異也不會特別大，這里用到產生對抗樣本的方法，可能不是常規的方法，可能是 one pixel 的一些對抗樣本的方法，這個地方改變了 5 個像素就能進行擾動，

如下圖所示，回到豬這張圖片上來，這個地方再加入一個擾動之后，中間彩色的圖，其實就是為了針對這個對抗樣本進行可視化，把這個擾動放大了，就相當于在顏色空間上把它放大了，再加入這個非常小的擾動之后，肉眼基本看不出來任何區別，
按照學術上的定義，對抗樣本的定義見下圖：
x 是原始的樣本輸入，需要注意的是，對抗樣本原始的產生，或者是原始的一些相關內容都是視覺圖片分類的任務，也就是說，原始的輸入就是圖片，

δ 是一個擾動，這個擾動是范圍非常小的，在這種情況下，應該盡可能讓擾動加入到原始輸入之后，首先要保證這個擾動足夠小，

其次就是要保證對抗樣本能夠讓模型做 = 錯誤的分類，模型被輸入具體的擾動之后，再進行正向傳播，預測之后得到一個 t ，這個 t 可以理解為一個具體輸出概率的向量，那么此處可以讓這個 t 滿足某個條件，

假設 t 是一個最大概率對應的類別，而對抗樣本是想要得到的一個類別，或者說想讓 t 做一些相關的誤分類操作，

舉一個例子，假設想有一個 x ，它分類的結果是 1 ，在加入一個擾動之后，想讓分類結果變成 2 ，那么這里的本質就是改變了 t 作為最終的輸出，

因為 t 可以理解為最終在通過激活函式之后的輸出概率向量，此種情況下，這個擾動要符合一定的規律，并不是完全沒有限制的，這個原始輸入的 x 在接上擾動之后，需要保證讓它在一個固定的范圍內的，如果是對于圖片而言，需要讓它保證在原始的 RGB 像素空間內，如果規劃之后，仍然是要把它保存在從 0~1 的一個范圍內，那它就沒有超出顏色空間，

在這種情況下，對抗樣本或者叫對抗干擾需要得到一個較小的擾動，這個擾動能夠讓模型做完成后分類，擾動在加大原始輸入的情況下，仍然能夠保證它的范圍是在合理的區間內，以上是對抗樣本的定義，

定義好了對應樣本之后，接下來的一個關鍵問題就是，如何去找到擾動，

雖然擾動在前面這些例子里看起來很簡單，但其實，擾動并不是很容易就能夠尋找得到，

我們需要關注擾動的范圍，或者說它的尺寸，由于擾動是加在影像輸入上，這就說明，擾動的尺寸和原始輸入圖片的尺寸是是一致的，

既然要一致，單個 t 可以區分定向和非定向攻擊，假設這個對抗攻擊是定向攻擊的話，那么讓它指定在對應類別上的一個概率最大即可，

如果是不定向的，那么讓它完成固定的誤分類、隨機一個誤分類即可，那么這個擾動，它的范圍是與原始輸入匹配的，可以理解為這個擾動是需要搜索出來的，

首先，對抗生成網路其實是一種生成模型，

日常生活中存在很多判別模型和生成模型，判別模型需要對輸入的 x 和它對應的標簽做映射，生成模型可能需要生成一些對應指定的樣本，它與常規的判別模型是存在差異的，

一般情況下，對抗生成網路是由 generator 和 discriminator，即生成器和判別器所組成的，它采用博弈的思想來進行訓練，對抗生成網路就是生成器和判別器博弈的程序，

總的來看，對抗樣本和對抗生成網路這兩個研究方向有一些相似之處的，首先它們的提出者都是 Ian GoodFellow，其次，對抗樣本和對抗生成網路也都是比較前沿的，它的研究領域主要都是跟深度學習相關的，但兩者并不完全相同，

二、對抗樣本的產生方法

對抗樣本有一些具體的產生方法，

首先是 L-BFGS，

在指定一個優化具體的輸入時，可以采用流動法進行計算模型的一階導和二階導來完成，這是一個具體的優化的程序，由于此前已經定義好了對抗樣本的定義，那么就可以利用具體的優化程序，通過搜索得到對標，

L-BFGS 是最早提出來的一類關于對抗樣本的產生方法，

上圖公式中，l 是圖片的類別，C 是代表深度的神經網路，其中一個方法就是需要讓 l 和原始類別保持不一致，此時用 L-BFGS 來搜索得到一個近似解，那么它能夠滿足對抗的需要，L-BFGS 這個方法非常經典，但是缺點在于計算程序中需要消耗較大的時間，復雜度較高，

第二種是由 Ian GoodFellow 提出來的方法 —— FGSM （ Fast Gradient Sign Method ），此時需要讓樣本做一個更新，這與深度學習模型的訓練存在較大的差異，

在訓練一個網路模型時，如果是訓練常規的 CNN 分類，寫好 dataset 和 dataload ，隨后輸入資料來讓它進行正向傳播、計算模型的梯度，然后根據模型的梯度來調整模型的引數即可，

而對抗樣本其實是固定了一個模型，然后再去調整輸入，這個輸入相當于最終讓模型誤分類，

FGSM 是一個非常經典的產生對抗樣本的方法，在產生并繼續優化神經網路時，大部分情況下都是用 mini batch 的 sgd ，按照一批量的梯度下降來進行完成的，

通過一批量的資料和引數完成隨機梯度下降，此時通過計算得到了樣本在優化曲線上的技術方向，

FGSM 的操作程序就是讓一個模型完成梯度上升的程序，相當于一個梯度下降，讓模型損失變低，梯度上升相當于讓它增加對應的損失，

這個可以根據自身的需要來進行定義，這里對輸入進行求導即可求得 gradient 和它的 sign ，進行非常少的擾動，然后去更新輸入的資料，

FGSM 其實是一個在原始的內容提出的程序，是單步的，例如單次計算的程序可以把它推廣成為多步的，更進一步也可以把它推廣為 Fast Gradient L2 ，原始輸入的擾動也可以把它作定制化，可以理解為讓它做范數的處理，

除了對抗樣本的產生方法，還有一些較為重要的概念需要厘清，

首先就是黑盒攻擊和白盒攻擊，黑盒攻擊（Black-box of text），即在不知道目標攻擊，特別是不知道目標想要攻擊模型的梯度資訊的情況下，需要基于此種條件去產生一些定量，

白盒攻擊，即知道攻擊目標的一些梯度資訊和輸出的概率值，白盒攻擊的難度會更低一點，因為已經知道需要攻擊模型的一些細節，

遇到黑盒攻擊，一般情況下是訓練一個替代模型，替代的模型是和目標模型是差不多的，然后利用替代模型去產生一些對抗，相當于按照把它轉為白盒攻擊的思路來去做，

此種方法有較好的遷移性，如果在模型 a 上產生的對抗樣本，往往在模型 b 上也能夠起作用，那么可以找一個替代的模型去產生這些對抗樣本，再去作為最終的攻擊，
FGSM 和 adversarial patch 其實是兩類方法，定向攻擊和不定向攻擊，現在對抗樣本的一些方法也有很多種類，有基于 greed ，有基于輸出的概率值， score based ，或者 decision based ，在這種情況下，可以從基礎學起，現在每年基本上都會有一些比較新的論文出來，部分新論文都是可能是對于一些基礎方法的改進，

三、對抗樣本的具體型別

在此，我們總結一下對抗樣本的定義，它是能夠讓模型進行誤分類操作的樣本；對抗樣本跟原始的樣本有相比較小的擾動；對抗樣本可以有目標攻擊也可以無目標攻擊，只要讓目標模型直接分類錯誤就行，不管最終類別是什么，只要不是原始的正確類別就行，

有目標攻擊就相當于有對應的類別，想要這個模型讓對抗樣本分類到具體哪一類，

還有 Top-k 誤分類攻擊是想讓模型輸出的類別不在 Top-k 里，或者說 Top-k 類別之中不包含真實類別，還有置信度的攻擊，可以理解為一些攻擊的要求，

附：QA

Q1: 對抗攻擊的方法有分類介紹嗎？

A1: 有一些具體的 survey，或者說這些綜述可以參考，包括基于白盒的定向的、基于圖片的、 FGSM、還有 one pixel 方法的諸多綜述，推薦一篇綜述為 threat of adversarial attacks on deep learning in computer vision:a survey.

Q2: 對抗樣本在檢測任務上和分類任務上有什么差異？

A2: 還是不一樣的，因為最終想要的結果是不一樣的，從評價指標上來進行思考，也就是分類和檢測的評價指標是不一樣的，所以最終評價是不一樣的，這就會導致產生樣本的程序是不一樣的，

Q3: 生成對抗樣本在保存是怎么解決精度和越界？

一般而言，越界的話，就是要產生這個樣本，要讓它處于一個指定范圍之內，在一個像素范圍之內不要越界就行，

精度方面，剛才所講的代碼，最開始的 FGSM 其實是一個白盒攻擊，相當于知道攻擊我們的目標模型的一些梯度資訊，那么它能夠成功攻擊的概率也是很高的，最終的誤分率概率是 96%，那么在這種情況下，再用一個新的模型去評價，它的精度肯定會更低一些，

總而言之，第一講的主要內容為對抗樣本的入門級介紹，后續的講解還將深入到【2021 OPPO 安全 AI 挑戰賽】，金牌講師手把手帶你實戰總獎金 60 萬元的比賽，“資料實戰派” 也將持續發布公開課實錄，敬請期待！