基于噪聲資料增強的魯棒性機器學習
- 結果
- 一、 賽題分析
- 二、 方法攻略
- 參考文獻
Towards Efficient Data-Centric Robust Machine Learning with Noise-based Augmentation
結果
最終結果：8/3691
天池頁面得分：83.34
撰寫腳本在官方公開測驗集中得分：83.51
一、 賽題分析
對于Data-centric Robust Machine Learning1無法專門設計或修改training pipeline和模型結構，導致許多現有的魯棒性增強方案不可用，考慮到黑盒測驗場景，精心設計的訓練資料應該為訓練后的模型提供足夠的魯棒性和泛化性，對各種測驗資料都能有效識別（對抗樣本和其他不可預見性攻擊或噪聲），
二、 方法攻略
我們引入了一種基于噪聲資料增強的方法，從原始干凈訓練影像構建一個全面的訓練資料集（包括噪聲影像，對抗影像等等）， 所提出的方法使經過訓練的模型具有較強的魯棒性，并且不依賴于額外的訓練程序或損失函式，
- PGD——對抗攻擊演算法，用于生成具有適當對抗強度,較小干擾以及少量attack_iters避免對抗樣本overfit；
- 影像資料增強包括椒鹽噪聲、高斯噪聲和Mixup（Mixup初賽中有效果，而復賽中沒有效果(應該是會有效果的，因提交機會太少了，遂沒有做過多嘗試）
- CosineAnnealingWarmRestarts，余弦退火+WarmRestart控制模型訓練程序中優化器的learning rate變化，使其在多個epoches后重置，避免模型在多種分布資料中陷入區域最優，提高模型泛化性；
資料集組成：
- 使用 PGD2在preactresnet18 上生成 30000 個對抗樣本，step-size分別為 0.05、0.1、0.15;
- 10000 張影像上添加40%的椒鹽噪聲;
- 10000 張方差=0.005 的高斯噪聲影像;
訓練程序：
為了避免模型對訓練資料的過擬合，我們將 CosineAnnealingWarmRestarts 設定為 T0 = 3，Tmult = 2.
參考文獻
[1]. AAAI2022 Security AI Challenger Program Phase 8: Data Centric Robust Learning on ML models.
[2]. Aleksander Madry, et al. “Towards deep learning models resistant to adversarial attacks.” International Conference on Learning Representations, 2018.
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/433380.html
標籤：AI
下一篇：pandas使用fillna函式并設定fffill引數使用列中的前序值填充缺失值（replace missing values with preceding values in column in d