Robust Principal Component Analysis 魯棒主成分分析模型介紹

0.畢業設計

我畢業設計做的方向是微表情演算法的研究，并且有幸聽了王老師組織的《云上微表情》報告會并接觸到了王老師（聽的第一期是黃老師的前期作業介紹），前期看的大部分論文都是與影像特征提取 L B P ? T O P LBP-TOP LBP?TOP相關的內容，聽了報告會之后看到了黃老師和王老師的 R P C A RPCA RPCA的相關作業比較感興趣，就開始了相關的漫漫長征路······歡迎各位同行私信我相互交流（但本人菜雞一枚），

1.RPCA模型介紹

上面說了我是看了黃老師和王老師的論文，才知道了這個流程，論文名稱分別為《Discriminative Spatiotemporal Local Binary Pattern with Revisited Integral Projection for Spontaneous Facial Micro-Expression Recognition》、《Micro-expression Recognition using Robust Principal Component Analysis and Local Spatiotemporal Directional Features》的兩篇文章，

R P C A RPCA RPCA被廣泛應用于人臉識別、視頻幀插值、腦成像和腦電圖信號處理等， R P C A RPCA RPCA利用資料特征為低秩子空間這一事實，它將觀測資料矩陣 D D D分解為兩部分:
\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad D = A + E D = A + E D=A+E

其中 A A A處于低秩子空間， E E E為誤差項，在 R P C A RPCA RPCA的許多應用中， A A A是應有的資料，而 E E E通常作為噪聲處理并去除，而在微表情識別中中，我們認為E包含了微表情中應有的細微運動資訊，而 A A A中包含了每個人的身份資訊，這與微表情資訊的提取是無關的，

話不多說，我們開始介紹模型吧，在模型介紹中我就不摻雜微表情識別相關的背景了，

在上述 D = A + E D=A+E D=A+E成立的條件下，我們想要尋找每一列元素盡量相同的矩陣 A A A和能夠產生盡量稀疏元素的矩陣 E E E，這就是想要建立 R P C A RPCA RPCA模型的初衷和背景，用數學模型表示出來就是如下的公式：

\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad m i n A , E {min}_{A,E} minA,E? r a n k ( A ) + ∣ ∣ E ∣ ∣ 0 rank(A)+||E||_0 rank(A)+∣∣E∣∣0? s . t . D = A + E \ \ \ s.t.\ D=A+E s.t. D=A+E

其中rank（·）表示矩陣的秩， ∣ ∣ ? ∣ ∣ 0 || · ||_0 ∣∣?∣∣0?表示矩陣的0范數，它表示的是矩陣E非零項數的個數，

由于上述優化問題是非凸的， R P C A RPCA RPCA將其轉化為凸優化問題，便于求解，用數學模型表示出來就是如下的公式：

\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad m i n A , E {min}_{A,E} minA,E? ∣ ∣ A ∣ ∣ ? + λ ∣ ∣ E ∣ ∣ 1 ||A||_*+\lambda ||E||_1 ∣∣A∣∣??+λ∣∣E∣∣1? s . t . D = A + E \ \ \ s.t.\ D=A+E s.t. D=A+E

其中， ∣ ∣ ? ∣ ∣ ? ||·||_* ∣∣?∣∣??代表矩陣的核范數，它等于矩陣所有奇異值的和，另外， ∣ ∣ ? ∣ ∣ 1 ||· ||_1 ∣∣?∣∣1?表示矩陣的1范數，它等于矩陣所有元素絕對值之和， λ \lambda λ表示噪聲所占比重，是一個正的加權引數，

上述式子包括矩陣的 l 1 l1 l1-范數和核范數，求解程序中，需要使用迭代，然而，迭代閾值方案收斂非常緩慢，它不能用于處理大規模的微表情視頻，Lin等采用增廣拉格朗日乘子( A L M ALM ALM)的方法求解上述式子，效率提升了五倍以上，引入 A L M ALM ALM來解決以下約束優化問題:

為了求解在滿足 h ( X ) = 0 h(X)=0 h(X)=0的條件下的優化問題 m i n f ( X ) min\ f(X) min f(X)（函式 f f f是一個從 n n n維到1維的映射，函式 h h h是一個從 n n n維到 m m m維的映射）,并且將有約束 h ( X ) = 0 h(X)=0 h(X)=0問題轉化為無約束問題（這種轉化需要一定的代價的，所以構造的拉格朗日函式增加了懲罰項），構造的拉格朗日函式如下：

\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad L ( X , Y , μ ) = f ( X ) + L(X,Y,\mu)=f(X)+ L(X,Y,μ)=f(X)+ ? Y , h ( X ) ? + μ 2 ∣ ∣ h ( X ) ∣ ∣ F 2 \langle Y,h(X) \rangle+\frac{\mu}{2}||h(X)||_F^2 ?Y,h(X)?+2μ?∣∣h(X)∣∣F2?

其中 Y Y Y是拉格朗日乘子， ∣ ∣ ? ∣ ∣ F ||·||_F ∣∣?∣∣F?代表矩陣的 F F F范數，它等于 ∑ i ∑ j X i j 2 \sqrt{\sum_i\sum_j X_{ij}^2} ∑i?∑j?Xij2? ?，矩陣各元素的平方和的平方根，

為了求解我們上述的 l 1 l1 l1-范數和核范數結合的優化問題，我們是由上述拉格朗日函式求解，所以 X X X即為 ( A , E ) (A,E) (A,E)， f ( X ) f(X) f(X)即為 ∣ ∣ A ∣ ∣ ? + λ ∣ ∣ E ∣ ∣ 1 ||A||_*+\lambda ||E||_1 ∣∣A∣∣??+λ∣∣E∣∣1?， h ( X ) h(X) h(X)即為 D ? E ? A D-E-A D?E?A，拉格朗日函式即為

\quad \quad \quad \quad \quad \quad \quad \quad \quad L ( A , E , Y , μ ) = ∣ ∣ A ∣ ∣ ? + λ ∣ ∣ E ∣ ∣ 1 L(A,E,Y,\mu)= ||A||_*+\lambda ||E||_1 L(A,E,Y,μ)=∣∣A∣∣??+λ∣∣E∣∣1?+ ? Y , D ? E ? A ? + μ 2 ∣ ∣ D ? E ? A ∣ ∣ F 2 \langle Y,D-E-A \rangle+\frac{\mu}{2}||D-E-A||_F^2 ?Y,D?E?A?+2μ?∣∣D?E?A∣∣F2?

Lin等人在[1]中提出了兩種演算法:精確 A L M ALM ALM和不精確 A L M ALM ALM，對精確 A L M ALM ALM的輕微改進會導致不精確 A L M ALM ALM，它收斂的速度實際上與精確 A L M ALM ALM一樣快，但是所需要的奇異值分解的數量要少很多，最后的迭代程序，是在一定誤差閾值和最大迭代次數的控制下結束迭代，迭代程序如下：

下面給出這張圖，說明 R P C A RPCA RPCA在微表情識別上的厲害之處，也是因為這張圖激起了我想要做 R P C A RPCA RPCA的興趣，不說了去看程式了，如果對我的博文排版有什么建議，歡迎私信我或者評論，如有錯誤也請批評指正，也非常希望讀者可以關注我，看菜雞是如何逆轉翻盤的！

參考文獻：

Lin, Z., Liu, R., Su, Z.: Linearized alternating direction method with adaptive penalty for low-rank representation. In: Neural Information Processing Systems (NIPS) (2011)
Wright, J., Ganesh, A., Rao, S., Peng, Y., Ma, Y.: Robust principal component analysis: Exact recovery of corrupted low-rank matrices via convex optimization. In: Advances in neural information processing systems. pp. 2080–2088 (2009)