交替方向乘子法（Alternating Direction Method of Multipliers）
作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/
1. 交替方向乘子法簡介——Alternating Direction Method of Multipliers
ADMM 最早分別由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新綜述并證明其適用于大規模分布式優化問題，
由于 ADMM 的提出早于大規模分布式計算系統和大規模優化問題的出現，所以在 2011 年以前，這種方法并不廣為人知，
交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一種求解具有可分離的凸優化問題的計算框架, 由于其處理速度快，收斂性能好，ADMM適用于求解分布式凸優化問題，特別是統計學習問題， 主要應用在解空間規模很大的情況，強制分塊求解，而且解的絕對精度要求不是太高，
ADMM以先分解再結合的形式求解問題，即先把原問題分解成若干個相對原問題較簡單的子問題，再把子問題的解結合起來得到原問題的全域解，
ADMM也可以看作是對偶分解法和增廣拉格朗日乘子法的結合，使該演算法有分解性的同時保證了良好的收斂性，
2. 對偶上升法——Dual Ascent
3. 共軛函式與對偶函式——Conjugate Function and Dual Function
4. 對偶分解——Dual Decomposition
5. 增廣拉格朗日乘子法——Augmented Lagrangians and the Method of Multipliers
6. 交替方向乘子法——ADMM
7. 尺度化后的交替方向乘子法——Scaled Form
8. 參考文獻
[1] Boyd S , Parikh N , Chu E , et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1):1-122.
[2] 陳慶國. 關于交替方向乘子法一些問題的研究[D].中國計量大學,2018.
[3] 交替方向乘子法（ADMM） - 凱魯嘎吉 - 博客園
[4] ADMM: http://web.stanford.edu/~boyd/admm.html
[5] Stephen Boyd, Lieven Vandenberghe. Convex Optimization[M]. 世界圖書出版公司, 2004.
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/79551.html
標籤：其他