1 引言¶

在展開資料分析作業時，我們經常會面臨兩種困境，一種是原始資料中特征屬性太少，“巧婦難為無米之炊”，很難挖掘出潛在的規律，對于這種情況，我們只能在收集這一環節上多下功夫；另一種困境剛好相反，那就是特征屬性太多，這真是一種幸福得煩惱，因為特征屬性多就意味著資訊量大，可挖掘的價值就大，但另一方面也可能造成過擬合和計算量的急劇增大，對于這一問題，最好的方法就是在預處理階段對資料進行降維，
說到降維，很自然得就想到主成分分析法(Principal Component Analysis，PCA)，因為這一方法在眾多降維方法中獨領風騷，應用的最為廣泛，主成分分析法是一種無監督學習方法，它的主要觀點是認為資料的特征屬性之間存在線性相關，導致資料間的資訊冗余，通過正交變換把線性相關的特征用較少線性無關的資料來表示，以達到降維的目的，
本文接下來的內容就對PCA方法進行思想和運算程序等方面由淺入深地展開介紹，

2 演算法原理¶

2.1 最大投影方差法¶

為方便描述，我們先以二維平面上的資料集為例，如下圖所示，有左下至右上45度角斜向上分布，現在，我們要對資料集進行降維，因為是二維資料，所以也只能降到一維，只需要找到一個條合適的坐標軸將資料投影過去即可，最簡單地，我們可以將資料直接投影到已有的兩個坐標軸上，如如圖（a）（b）所示，這種方法相當于直接舍棄另一特征維度，將直接導致對另一特征維度資訊的完全丟失，往往并不可取，降維程序雖然不可避免得會造成資訊丟失，但我們卻也希望最大化地保留資料的原始資訊，既然往已有的坐標軸上投影不可取，那么，我們構造新的坐標系，如圖（c）所示，我們沿左下至右上45度角斜向上構造出一條$y$軸，從直覺上判斷我們也會覺得將資料投影到這個$y$軸比直接頭引導$x1$軸、$x2$軸更加合適，因為這個時候$y$軸與資料分布最“契合”，資料的投影在$y$軸上最為分散，或者說資料在$y$軸上的投影的方差最大，這就是最大投影方差法，通過這種方法，在投影后的空間中資料的方差最大，才能最大化資料的差異性，因此可以保留更多的原始資料資訊，

我們從數學角度上分析一下為什么方差最大是獲得的新坐標系才是最好的，
如下圖2所示，假設我們點$A$、$B$、$C$為圖1中資料集零均值化化后的樣本點，點$A'$、$B'$、$C'$分別是點$A$、$B$、$C$在旋轉后的$X1'$軸上的投影，$O$為坐標原點，$|AA'|$表示原坐標點$A$到$X1'$軸上投影$A'$的距離，又被稱為投影誤差，顯然，投影誤差越小，$A$與$A'$相似度越大，那么投影后的資料就保留了更多的資訊，所以投影誤差越小越好，等價地，對各樣本點投影誤差的平方和$|AA'{|^2} + |BB'{|^2} + |CC'{|^2}$也越大越好，因為斜邊的長度$|OA|$、$|OB|$、$|OC|$是固定的，結合勾股定理可知，$|AA'{|^2} + |BB'{|^2} + |CC'{|^2} + |OA'{|^2} + |OB'{|^2} + |OC'{|^2}$的大小也是保持不變的，這就意味著，投影誤差越小，$|OA'{|^2} + |OB'{|^2} + |OC'{|^2}$就越大，其實，$|OA'{|^2} + |OB'{|^2} + |OC'{|^2}$就是樣本方差和，所以說，方差最大是獲得的新坐標系最好，

現在，我們知道了怎么確定最優的方向進行投影的問題，不過還有問題沒有解決：
（1）上面的講述都是以二維資料為例子，對于二維資料的降維，當然只需要找到一個維度或者說一條坐標軸進行投影即可，如果是更高維度的資料進行降維時，就不可能都降為一維，這時候可就需要尋找到多條坐標軸來來投影，如果尋找第一個維度時，使用方差最大化投影當然沒問題，但是，如果在尋找第二個維度時，仍然堅持方差最大化，那么第二個維度的坐標軸就回與第一個維度的坐標做基本重合，這樣投影后的資料相關性極大，是沒有意義的，那么，對于高維度資料降維，要如何確定多個維度坐標軸呢？
（2）找到了新的坐標系后，怎么將原始資料映射到新的坐標系中呢？
帶著這兩個問題，我們繼續往下分析，

2.2 協方差矩陣¶

PCA演算法降維的主要通過是降低原始資料中的冗余資訊來實作的，這里的冗余資訊指的是資料集中不同特征屬性間的相關性，例如作業時長、學歷、薪資待遇這三個屬性，這確實是三個不同的特征屬性，但無論是作業時長還是學歷都跟薪資待遇之間存在一定影響，在大多數情況下，作業時長越長、學歷越高薪資待遇就越高，所以，作業時長、學歷與薪資待遇是存在相關性的，PCA演算法目標就是消除這些相關性達到降維的目的，
對于相關性，在數學上通常用協方差來進行描述，假設資料集$X$是包含$n$個樣本，$m$個特征屬性，$x_i$和$x_j$分別是資料集$X$中的兩個不同的特征屬性，那么$x_i$和$x_j$之間的協方差為：
$$Cov({x_i},{x_j}) = \frac{1}{{n - 1}} \cdot \sum\nolimits_{k = 1}^n {({x_{ik}} - {{\bar x}_i})({x_{jk}} - {{\bar x}_j})} $$ 式中，${{x_{ik}}}$，${{x_{jk}}}$表示$x_i$、$x_j$的第$k$個樣本在兩個特征屬性中的取值，${{\bar x}_i}$、${{\bar x}_j}$分別是$x_i$,$x_j$的均值，
協方差取值區間為$[-1,1]$，協方差絕對值越大兩特征屬性相關性越大，當協方差小于0時，表示兩個特征屬性呈負相關，當協方差大于0時，表示兩個特征屬性呈正相關，當協方差為0時，表示量特征屬性不相關，在線性代數上，這兩個特征屬性時正交的，
特殊地，$Cov({x_i},{x_i})$表示特征屬性$x_i$的方差，
通過上一小節，我們知道，降維時選擇第一個投影方向是通過方差最大化進行選取，選取后續為投影方向時，我們就不可能再讓降維后的各維度資料間還存在相關性，所以，在選取后續維度時需要在滿足與所有已選取投影方向正交，即協方差為0的前提下，選取方差最大的方向，總結一下降維的程序，假如我們需要從$m$維降到$k$維，首先要在所有可能方向中選取一個投影方差最大的方向作為第一個維度，然后在所有與第一個維度正交的方向中選取一個方差最大的方向作為第二個維度方向，重復這一步驟，直到選取了$k$個維度，
可以看出，在整個降維程序中，既要計算方差，也要計算特征屬性兩兩之間的協方差，有沒有什么方法將兩者統一到一起呢？有，協方差矩陣， 協方差矩陣中每一個元素對應兩個特征屬性間的協方差，例如第$i$行第$j$列元素表示第$i$個特征屬性與第$j$個特征屬性間的協方差；協方差矩陣對角線上的元素，當$i=j$時，表示第$i$個特征屬性的方差，資料集$X$的協方差矩陣表示為：

仔細觀察協方差矩陣，可以發現協方差矩陣是實對稱矩陣，實對稱矩陣剛好有一些很好的性質可以被利用：
（1）實對稱矩陣必可對角化，且其相似對角矩陣的對角線元素為$m$個特征值
（2）實對稱矩陣的特征值是實數，特征向量是實向量
（3）實對稱矩陣的不同特征值對應的特征向量是正交的
請務必注意，這三個性質很重要，不理解沒關系，記住就好，接下來的內容都必須以這三個性質為基礎，因為特征值對應的特征向量就是理想中想取得正確的坐標軸的基，而特征值就等于資料在投影之后的坐標上的方差，所以有了協方差矩陣，接下來要做的，就是將協方差矩陣對角化，這個對角化的程序可以理解為是對來原坐標軸的旋轉即尋找最佳投影坐標軸的程序，通過對角化的程序可以讓除對角元素外的所有元素為零，也就是協方差為零，各特征屬性將將變得不相關，當協方差矩陣對角化之后，對角元素就是特征值，也是各投影后坐標軸上的方差，我們選取最大的一個特征值對應的特征向量作為基，對原始資料進行變換，就可以用獲得原始資料在新坐標軸上的投影，
我們大概描述一下這個坐標變換的原理，在機器學習中，我們喜歡用向量和矩陣來表示資料，因為向量和矩陣有很多很好的數學性質，可以很方便的進行數學運算，如下圖3所示，從圖1所示資料集中取一點，假設坐標為（3,1），那么我們可以表示為以原點為起點以點（3,1）為終點的一個箭頭，這個箭頭在x1軸上投影為3，在x2軸三的投影是1，我們可以這么理解，有一個向量在兩條坐標軸上的投影分別為$x_1$，$x_2$，那么該向量又可以表示為：$x_1 \cdot {(1,0)^T} + x_2 \cdot {(0,1)^T}$，這里的(1,0)和(0,1)就是下圖黑色直角坐標系的一組基，對于基，可以粗淺的理解為坐標軸的基礎，有了基，坐標才有意義，在大多數情況下，我們都默認以(1,0)和(0,1)這對相互正交且模長為1向量為基，如果我們對黑色直角坐標系逆時針旋轉45就得到了一個新的坐標系，這個坐標系的基為$(\frac{1}{{\sqrt 2 }},\frac{1}{{\sqrt 2 }})$和$( - \frac{1}{{\sqrt 2 }},\frac{1}{{\sqrt 2 }})$，這類我們不深入討論這個基是怎么得來的，反正在PCA方法中通過協方差對角化之后多的的特征值對應特征向量就是新坐標系的基，有了新坐標系的基，怎么將原坐標系的坐標轉換的用新坐標系表示呢？其實我們只需要對新坐標系的基與原坐標系中的坐標進行內積運算即可：將原坐標與兩個基做內積運算，獲得的兩個結果分別作為新坐標系的第一個坐標和第二個坐標，這個程序叫做基變換，我們用矩陣運算來表示這個程序：

所以點$（3,1）$在新坐標系中的坐標為$(\frac{4}{{\sqrt 2 }}, - \sqrt 2 )$，這種基變換的方式也適用于更加多維的情況，因為兩個矩陣相乘本質就是一種線性變換，也可以理解為將游標矩陣中的每一列列向量變換到左邊矩陣中每一行行行向量為基坐標是的空間中去，

總結來說，完成對角化之后，矩陣中對角線上元素就是特征值，也是尋找到的眾多坐標軸的投影方差，每次從中去所有特征值中最大的一個，然后求對應的特征向量，這個特征向量就是對應的新坐標軸的基，用這個基于原始資料做內積運算就可以得到原始資料在新坐標軸上的投影，重復這個程序$k$次，就完成可降維，
將上文中所有內容囊括在一起，那么，主成分分析法就概括為以下5各步驟：
（1) 零平均值，在很多情況下，為了去除量綱的影響，最好直接標準化，
（2） 計算協方差矩陣，
（3） 協方差矩陣對角化，求特征值，
（4） 對特征值從大到小排序，選擇其中最大的$k$個，然后求其對應的k個特征向量分別作為行向量組成特征向量矩陣P，
（5） 將k個特征向量作為新的坐標系的基對原始資料進行變換，

3 總結¶

PCA演算法是一種無監督學習方法，只需要對資料集本身的特征屬性進行運算，消除相關性達到壓縮資料去噪降維的目的， PCA演算法的主要優點有：
（1）僅僅需要以方差衡量資訊量，不受資料集以外的因素影響，
（2）各主成分之間正交，可消除原始資料成分間的相互影響的因素，
（3）計算方法簡單，易于實作，
PCA演算法的主要缺點有：
（1）主成分各個特征維度的含義不在具有實際的物理意義，所以不如原始樣本特征的解釋性強，
（2）方差小的非主成分也可能含有對樣本差異的重要資訊，因降維丟棄可能對后續資料處理有影響，

標籤：其他

上一篇：機器學習（05）——主要概念理解

下一篇：Pandas 資料分析，高中體測練習