Abstract
1、提供了協作學習的系統概述
2、簡要介紹了完整性和隱私攻擊
3、詳細介紹了現有的完整性和隱私攻擊及其防御
Introduction
舉例：醫學影像分類、移動鍵盤預測
協作學習：允許兩個或多個參與者協作訓練共享的全域DL模型，同時他們的訓練資料集保留在本地，每個參與者用自己的訓練資料訓練共享模型，并與其它參與者交換和更新模型引數，
模型完整性威脅： 只有一個攻擊者也可以破壞模型完整性
隱私性： 盡管不共享原始訓練樣本，但共享的更新是由樣本生成的，間接泄露了訓練資料集的資訊，在訓練程序中，可以從共享的梯度中捕獲成員關系和無意的特征泄露，甚至可以從相應的更新中重構訓練樣本，
為了實作拜占庭容錯協作學習：
使用統計工具在每次迭代中檢查參與者的更新，并在聚合更新時放棄潛在的惡意更新，
隱私保護方面，提出搜索保護隱私的轉換函式，并對該函式的訓練樣本進行預處理，以防御重構攻擊，
協作學習系統綜述
本文重點介紹的是監督學習
并行性
四種主要磁區策略：資料并行、模型并行、流水線和混合并行
資料并行：將資料集中的樣本劃分到多個計算資源中，
模型并行：模型的不同部分在不同的計算資源中處理，每份模型都包含完整的資料，
流水線： 劃分為多個任務分配到各個節點中，流水線既是網路并行處理樣本的一種資料并行，也是模型分層劃分的一種模型并行，
混合并行：結合了多種并行方案，
引數分布
集中式：包含中心引數服務器，SGD更新
分散式：不包含中心服務器，
模型一致性
同步
在所有節點完成對一批樣本的計算后，主節點聚合引數，這種策略保證了模型的強一致性，但是提前完成的節點必須等待所有其他節點完成它們的計算，會導致計算能力的低利用率，
異步
一個節點將其更新完的結果傳到中心服務器并提取中心服務器當前的引數，不等待其它節點，避免了節點的等待時間，
過時-同步
對于大規模的集群，異步策略的模型一致性會出現過時問題，即存在一些計算速度的較慢的陳舊節點，使用異步策略會聚合來自陳舊節點和較快節點的梯度，從而破壞模型一致性，因此該方法，在達到一個節點的梯度老化界限之前強制執行全域同步步驟，
聯邦學習
協作學習的威脅
完整性威脅
只存在單個的惡意參與者可以影響甚至控制整個模型訓練程序，
compromize vs. backdoor
compromize: 通過改變模型引數來降低或破壞訓練模型的性能，在這種攻擊中，協作學習的一些參與者可以進行不適當的行為，傳播錯誤資訊，
backdoor: 將預定義的惡意訓練樣本注入到模型中，如果輸入樣本中包含注入的觸發器后門將被激活，由于觸發器的保密性，后門模型在正常樣本上正常運行，因此很難識別后門攻擊，（只對具有某種特定特征的資料做出錯誤判斷）
data poisoning vs. model poisoning
data poisoning: 插入錯誤資料，誘使其做出錯誤的預測，
model poisoning: 攻擊者在訓練程序中對一些參與者進行攻擊并完全控制他們的行為，直接改變區域模型的更新，從而影響全域模型，
隱私威脅
由于更新是從訓練樣本中計算出來的，它們仍然攜帶敏感資訊，這使得協作學習系統容易受到許多推理攻擊，例如，攻擊者可以在每次迭代時從交換的梯度中恢復影像的像素精度和文本的標記匹配，
成員推理攻擊：給定一個資料記錄和對模型或更新的黑盒訪問，成員推理攻擊可以確定該記錄是否在模型的訓練集中，
攻擊者可以推斷出訓練集中存在特定的資料樣本，
屬性推理攻擊：推斷出參與者訓練資料的屬性
樣本推理攻擊：攻擊者在訓練階段試圖提取訓練資料及其標簽
被動攻擊：攻擊者僅能通過觀察來推斷，不能對模型進行任何的攻擊
主動攻擊：允許攻擊者在訓練程序中做任何事情，它可以對其上傳的引數進行反向修改，還可以向中心服務器或者鄰居節點發送假資訊，
全域攻擊者（引數服務器）可以在每次迭代中控制更新的參與者，以對抗方式更新全域引數再傳給參與者
主動攻擊者可以分為獨自實施攻擊的單一攻擊者和共享資訊的拜占庭攻擊者
拜占庭式攻擊者可以協作進行最優攻擊，攻擊者可以是有共同利益的參與者，也可以是被惡意對手控制的參與者，
完整性攻擊
拜占庭攻擊
資料中毒會對獨立模型訓練系統產生很大影響，但是在協作學習中模型中毒比資料中毒更有效，（模型中毒和資料中毒的目的都是修改區域模型的權重，模型中毒更為直接）
假設攻擊者擁有訪問和修改來自協作學習系統中多個參與者的更新的權限，
惡意更新即為修改后的更新
a little is enough 惡意節點給予模型引數一個輕微的擾動，最終的準確率也會下降近50%
此外，如果攻擊者知道中心服務器的聚合規則，可以更為有效的進行攻擊，
后門攻擊
資料中毒
協作學習有針對性地攻擊：參與者中的惡意節點通過發送來自錯誤標簽資料的模型來毒害全域模型，但是這種攻擊對于含有數量較多的好節點的協作學習無效，
模型中毒
受損的客戶端可以更改本地的模型引數，從而影響全域模型引數，攻擊者可以修改影像分類器，使其為具有某些特征的影像分到攻擊者選擇的標簽中，
完整性防御
拜占庭防御
利用更新中的經驗過濾惡意參與者（更新的平均值或者中值或者是互動的歷史）
現有的拜占庭容錯演算法可以分為基于統計的和基于學習的
基于統計的: krum, Bulyan, 余弦相似度（洗掉相似度超過一定閾值的更新），Zeno, UBAR
基于學習的: 通過歷史互動來識別惡意參與者，
1、采用隱馬爾可夫模型來指定和學習每個參與者在訓練程序中提供的模型更新的質量，可以提高檢測惡意更新的準確性和效率，
隱馬爾可夫模型：對于盲人來說也許不能夠直接獲取到天氣的觀察情況，但是他可以通過觸摸樹葉通過樹葉的干燥程度判斷天氣的狀態，于是天氣就是一個隱藏的狀態，樹葉的干燥程度是一個可觀察的狀態，于是我們就有了兩組狀態，一個是不可觀察、隱藏的狀態（天氣），一個是可觀察的狀態（樹葉），我們希望設計一種演算法，在不能夠直接觀察天氣的情況下，通過樹葉和馬爾可夫假設來預測天氣，
未觀察到的隨機變數g：客戶端k在第t次迭代時提供良好更新的概率，
觀察到的隨機變數o：客戶端k在第t次迭代他們的演算法的結果（該結果表示客戶端k是否根據給定的聚合演算法進行更新）
2、 Justinian’s GAAvernor. 通過強化學習學習對拜占庭攻擊的魯棒性，它將歷史互動視為經驗，將干凈資料集上損失的相對減少視為獎勵，它將參與者的積分定義為目標策略，在獲得全域更新的獎勵后，通過強化學習優化當前策略，
3、使用DNN在多輪中學習良性更新的相關性，將DNN作為分類器對拜占庭式更新進行分類，
4、 觀察到拜占庭更新在某些回合中具有顯著偏差，將動量引入到好節點更新的計算中，并使用簡單的迭代剪輯來聚合更新，
后門防御
資料檢查：資料檢測方法主要是通過例外檢測來檢查輸入資料是否包含觸發器，或者在推理程序中直接去除例外樣本，
模型檢查：看一下
依靠例外技術來檢測由后門引起的模型例外行為，
除了以上的檢測方法還提出了幾種后門防御方法，
1、梯度規范裁剪和弱差分隱私可以在不損害模型整體性能的情況下減輕攻擊
2、引入額外的訓練層
3、客戶端交叉驗證，每個更新都要根據來自其他參與者的本地資料進行評估
隱私攻擊
成員推理攻擊、屬性推理攻擊、樣本推理攻擊
黑盒：攻擊者只能看到模型的輸出
白盒：攻擊者知道模型的結構及引數
成員推理攻擊
引數服務器可以隨時觀察單個引數的更新，可以控制所有參與者對全域引數的視圖，而每個參與者都可以觀察全域引數的更新，并可以控制自己的引數上傳，因此，與獨立學習的攻擊相比，引數服務器和參與者擁有更多的每次迭代的更新資訊，更容易進行成員推斷攻擊，
在協作學習中，相同訓練資料集上的更新歷史可以揭示隱私資訊，提高推理攻擊的準確性，主動攻擊：主動對自己的資料集中的一組目標資料點進行梯度上升，從而影響到自己的模型的引數進而影響其他方的引數，這就放大了其它方針對該資料點的存在感，從而可以判斷出是否是推理的成員，
屬性推理攻擊
利用來自服務器的聚合更新，攻擊者可以逐步確定參與者訓練資料的屬性，利用公開可見的屬性，推理出其它隱秘的屬性，
基于GAN：使用GAN生成實體，這些實體在視覺上與被攻擊的參與者的樣本相似，
被動屬性推理：假設攻擊者擁有由具有相關屬性的資料和不具有相關屬性的資料組成的輔助資料，得到全域模型，將具有相關屬性的和不具有相關屬性的資料分別進行更新，可以觀察出來從全域傳來的模型是否具有該屬性，
樣本推理攻擊
隱私防御
差分隱私防御
差分隱私攻擊：攻擊者現在知道資料集中有三個蘋果三個梨，現在資料集中又增加了一條新資料，攻擊者再進行查詢發現有了三個蘋果四個梨，那么它就會知道新插入的一條資料，
差分隱私可以理解為約束兩個分布之間的差異，
解決方法：添加隨機噪聲，添加過多的噪聲可以滿足隱私要求，但是代價是模型的精度下降，因此確定最優的噪聲量很重要，既能提供所需的隱私保護也能保持可接受的模型性能，
其中D2和D1僅有一條資料不同，其余資料都是相同的，M為一個隨機的機制，\(\epsilon\)為隱私預算，\(\delta\)為一個實數，通常很小，隱私預算可以理解為一個閾值，每訪問一次資料，閾值就會減小，當預算用完了就不能訪問了，
epsilon越小的時候意味著查詢一條資料的值越沒辦法區分，攻擊者無法確定任何一條記錄，從而保護了用戶的隱私，因此\(\epsilon\)越小，保護強度越大；\(\epsilon\)越大，保護強度越小，
當對同一資料執行隱私預算\({\epsilon}_1\)和\({\epsilon}_2\)時，兩種不同的機制合并后的隱私預算=兩種機制的隱私預算的和，
由于組合特性，相應的噪聲的規模也會增加，為了更好地權衡隱私性和可用性，出現了CDP和RDP
差分隱私變體
集中差分隱私CDP：使用亞高斯散度來限制隱私損失變數的均值和標準差，散度是用來衡量兩個分布之間的差距的，
瑞麗差分隱私RDP：是基于瑞麗熵的差分隱私
DP-SGD
添加隨機噪聲的方法：目標函式和梯度上添加，
加密隱私保護
同態加密
即用戶直接對密文進行算術運算 == 對明文執行相同的運算（達到可算不可見的目的）
全同態加密：允許其進行多種運算（+ - * /）
半同態加密：只支持其中一種，
安全多方計算
保證參與方獲得正確計算結果的同時，無法獲得計算結果之外的任何資訊，
比如f(x1,x2,…,xn) -> (y1,y2,…,yn)，節點xi只可以得到yi
保護隱私的協同學習方法
這些隱私防御也關注于處理訓練資料或模型更新，以實驗性地保證隱私資訊不受推理攻擊，
例：
該方法通過搜索特定的變換，將原始的本地資料樣本轉換為相關的樣本，使樣本推理攻擊失效，
混合防御
混合防御
針對一種攻擊的防御不能直接用于另一種攻擊的防御，這些混合防御主要利用針對完整性攻擊和隱私攻擊的技術，
主要設計策略：是將現有的完整性防御和隱私防御合并在一起，以實作安全的協作學習系統
一些混合防御利用同態加密技術，為加密資料提供保密性的同時，也為引數服務器提供了懲罰投毒者的通道，
協同對抗訓練
對抗訓練可以理解為一種引入噪聲的方式，可以對引數正則化，增強模型的泛化能力和魯棒性，
其主要思想是在訓練程序中利用現有的對抗例生成方法對訓練資料進行擴充，因此，對抗訓練的模型在推理程序中對對抗實體具有更強的魯棒性，
提出問題
1、拜占庭攻擊與防御中的非iid或噪聲場景，現有拜占庭容錯演算法大多針對iid
2、針對認證后門攻擊的防御，現有的協作學習后門防御主要集中在經驗識別或清除后門，
3、差異隱私中的隱私-性能權衡，
4、屬性推理攻擊中的基礎資料集，如何利用基資料集進行屬性推理攻擊？現有攻擊是利用本地資料集來推斷其他參與者屬性，同時假設這些本地資料集與受害者參與者具有相同的分布，但是現實敵方可能不知道對方的訓練資料集的分布
5、樣本推理防御的性能改進，一些防御措施如添加噪聲或修剪引數會損害協同訓練模型的性能，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/538963.html
標籤：其他