PCA主成分分析（降維）-有解無憂

主成分分析的作用是降維，當資料量有多個維度時，有些維度對于資料的貢獻大，有些維度對資料的貢獻小，通過主成分分析，找到重要的維度，能大大減少計算量，

PCA的中心思想：

一個中心：原始特征空間的重構，

兩個基本點：最大投影方差，最小重構距離，

---------------------------------------------------------------------------------------------------------------------------------

最小重構距離通過下面的式子來構建，

重構前：(xn是去中心化的每個樣本)

$\mathbf{x}_{n}=\sum_{d=1}^{D} \alpha_{n d} \mathbf{u}_{d}=\sum_{m=1}^{M} \alpha_{n m} \mathbf{u}_{m}+\sum_{i=M+1}^{D} \alpha_{n i} \mathbf{u}_{i}$

$\mathbf{x}_{n}$ 表示原始的點，能表示成d個向量（d個維度）的和，通過分解，它能夠分解到兩組向量上，PCA保留了一部分，舍棄了一部分，舍棄了 $\mathbf{u}_{i}$ 這部分，保留了 $\mathbf{u}_{m}$ 這部分，a是每個分解的向量u上的長度，相乘后求和就可以重構原樣本，

重構后：

$\tilde{\mathbf{x}}_{n}=\sum_{m=1}^{M} \alpha_{n m} \mathbf{u}_{m}$

重構的代價就是使重構前后的距離最小：（兩個式子相減后剩下后面這部分）

$\begin{aligned} J=\frac{1}{N} \sum_{n=1}^{N}\left\|\mathbf{x}_{n}-\tilde{\mathbf{x}}_{n}\right\|^{2}=& \frac{1}{N} \sum_{n=1}^{N}\left\|\sum_{i=M+1}^{D} \alpha_{n i} \mathbf{u}_{i}\right\|^{2}=\frac{1}{N} \sum_{n=1}^{N} \sum_{i=M+1}^{D} \alpha_{n i}^{2}=\sum_{i=M+1}^{D} \mathbf{ \frac{1}{N}({u}_{i}^{T} x_{n})(x_{n}^{T}} \mathbf{u}_{i})=\sum_{i=M+1}^{D} \mathbf{u}_{i}^{T} \mathbf{S} \mathbf{u}_{i} \\ & \text {where} \mathbf{S}=\frac{1}{N} \sum_{n=1}^{N} \mathbf{x}_{n} \mathbf{x}_{n}^{T} \quad \text { (covariance matrix) } \end{aligned}$

這里的S是協方差矩陣，

則損失函式為：

$J=\sum_{i=M+1}^{D} \mathbf{u}_{i}^{T} \mathbf{S u}_{i}$

使用拉格朗日乘子約束優化，式子變成：

$J=\sum_{i=M+1}^{D} \mathbf{u}_{i}^{T} \mathbf{S u}_{i}+\lambda\left(1-\mathbf{u}_{i}^{T} \mathbf{u}_{i}\right)$

$\frac{\partial}{\partial \mathbf{u}_{i}} J=2\left(\mathbf{S} \mathbf{u}_{i}-\lambda_{i} \mathbf{u}_{i}\right)=0$

則：

$\mathbf{S} \mathbf{u}_{i}=\lambda_{i} \mathbf{u}_{i}$

$u_{i}$ 表示S的特征向量， $\lambda_{i}$ 表示特征值，

---------------------------------------------------------------------------------------------------------------------------------

則PCA的步驟為：

1.求平均值，去中心化

$\overline{\mathbf{x}}=\frac{1}{N} \sum_{n=1}^{N} \mathbf{x}_{n}$

$\mathbf{x}_{n}^{\text {norm }}=\mathbf{x}_{n}-\overline{\mathbf{x}}, \quad \forall n \in\{1, \ldots, N\}$

2.計算協方差矩陣

$\mathbf{S}=\frac{1}{N} \sum_{n=1}^{N} \mathbf{x}_{n}^{\text {norm }}\left[\mathbf{x}_{n}^{\text {norm }}\right]^{T}$

3.特征分解

$\mathbf{S}=\mathbf{U} \boldsymbol{\Lambda} \mathbf{U}^{-1}$

矩陣分解的程序就像下面這樣子

$\mathbf{S}=\left[\begin{array}{ccc}\sigma_{11}^{2} & \ldots & \sigma_{1 M}^{2} \\ \vdots & \ddots & \vdots \\ \sigma_{M 1}^{2} & \cdots & \sigma_{M M}^{2}\end{array}\right]=\mathbf{U} \boldsymbol{\Lambda} \mathbf{U}^{T}=\left[\begin{array}{lll}\mathbf{U}_{s} & \mid & \mathbf{U}_{\mathbf{n}}\end{array}\right]\left[\begin{array}{c|c}\boldsymbol{\Lambda}_{s} & \mathbf{0} \\ \hline \mathbf{0} & \boldsymbol{\Lambda}_{n}\end{array}\right]\left[\begin{array}{c}\mathbf{U}_{s}^{T} \\ \hline \mathbf{U}_{\mathbf{n}}{ }^{T}\end{array}\right]$

4.用特征值 $\lambda_{d}$ 對U的列進行排序

5.選擇M個特征向量，形成 $\tilde{\mathbf{U}}$

6.進行投影

$\tilde{\mathbf{x}}_{n}=\tilde{\mathbf{U}} \tilde{\mathbf{U}}^{T} \mathbf{x}_{n}^{\text {norm }}+\overline{\mathbf{x}}$

$J=\sum_{i=M+1}^{D} \lambda_{i}$

轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/390408.html

標籤：區塊鏈

上一篇：DApp入門

下一篇：Solana區塊鏈智能合約開發簡要流程