1.聯邦學習定義
隱私保護的分布式機器學習框架，各參與方無需共享資料資源，就可以進行資料聯合訓練，建立最侄訓器學習模型，（合作共贏模式，共同富裕策略）
特征：
- 參與方資料保留在本地，一定程度上保證資料安全性
- 參與者聯合訓練模型，共同富裕
- 參與方地位平等
- 與中心化的機器學習建模效果相差不大 $ |{V_{fed}} - {V_{sum}}|< \delta $
每個參與方生成自己模型，再去聚合全域模型
聯邦學習亮點在于保障隱私資訊和資料安全，雖然增加了通訊等開銷，但是通過本機進行模型訓練，然后加密機制下的引數交換與安全聚合，最終實作一定程度上的隱私保護，
2.FL與DP 區別
FL的隱私保護通過HE加密等手段完成，資料和模型本身不進行傳輸，而且資料是準確的，
DP通過添加噪音，k-匿名、l-多樣性、t-緊密性采用概括化方法模糊敏感屬性，這些都進行了資料傳輸，而且處理后的資料是接近準確的，
3.FL與Distributed ML 區別
DistributedML包括機器學習的訓練資料分布式存盤、計算任務分布式運行、模型結果分布式發布，引數服務器作為加速機器學習模型訓練的一種工具，將資料存盤在分布式作業節點上，通過一個中心式調度節點調配資料分布和分配計算資源，以便高效獲得最終訓練模型，這些和FL相似，
白皮書提到FL不同于 參與方完全自治且更強調對資料擁有這的資料隱私保護，
FL面向海量終端，其不同于DistributedML：具有昂貴的通訊、系統的異構性、統計的異質性等特征，
4. FL與Blockchain 關系
都是去中心化的架構，區塊鏈是一種完全P2P網路結構；FL中第三方承擔聚合模型等功能，
都涉及到加密演算法，區塊鏈包括Hash、非對稱加密；FL使用HE，
Blockchain在各個節點保存完整資料；FL資料只保存在本地，
Blockchain不同節點競爭記賬獲得獎勵；FL依據每一方的貢獻分配獎勵，
Paper List:
McMahan[15]指出聯邦學習可以通過差分隱私，多方安全計算，或它們的結合等技術來提供更強的安全保障，
Bonawitz[16]指出聯邦學習中，可以利用多方安全計算以安全的方式計算來自用戶設備的模型引數更新的總和，
Truex[17]中提出了一種利用差分隱私和多方安全計算來保護隱私的聯邦學習方法，
Liu[18]提出將加性同態加密 (AHE) 應用于神經網路的多方計算，
5.FL分類與框架
- 橫向：按橫向用戶維度切分，取特征相同 用戶不完全相同的資料訓練，同行不同地
- 縱向：按縱向特征維度切分，取雙方用戶相同 特征不完全相同的資料訓練，同地不同行
- 遷移：不對資料進行切分，適用資料或標簽不足的場景，
6.應用場景
車險定價、信貸風控、銷量預測、視覺安防、醫療診斷、隱私保護廣告、自動駕駛
7.研究方向
從攻擊物件劃分
- 客戶端攻擊：參與迭代，檢查收到訊息和模型、篡改訓練程序
- 服務端攻擊：參與迭代，檢查收到訊息和梯度更新、篡改訓練程序
從攻擊手段劃分
- 模型更新攻擊：敵手控制客戶端產生任意輸出（拜占庭攻擊），導致模型損失函式$ \mathcal{L}$收斂到次優模型，甚至模型發散
- 資料攻擊：篡改客戶端資料
- 逃逸攻擊：構造特定輸入樣本，欺騙目標系統，完成模型推理
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/233453.html
標籤：其他