線性回歸基礎方法：最小二乘

對于線性回歸模型 Y = X β + u Y=X\beta +u Y=Xβ+u，為了求出系數矩陣 β \beta β，線性最小二乘法說要構造一個函式描述y的預測值和真值之間的差異，由于種種原因，希望能最小化殘差平方和，就給出一個函式 f ( β ) = ∑ ( Y ? X β ) 2 f(\beta)=\sum (Y-X\beta)^2 f(β)=∑(Y?Xβ)2，取能最小化該函式的 β \beta β即可，然后，為了得到 β ^ \hat{\beta} β^?的無偏、一致等性質，又施加了高斯馬爾可夫假設，
因此，在推導引數估計量運算式 β ^ = ( X T X ) ? 1 ( X T Y ) \hat{\beta}=(X^TX)^{-1}(X^TY) β^?=(XTX)?1(XTY)的程序中，并沒有用到高斯馬爾可夫假設的任何一條，對于Y（或誤差項）的概率分布也沒有任何假設，
而只有在推導估計量無偏性和一致性的程序中，才會用到諸如線性模型、X的隨機性、X有變異、誤差零條件均值、同方差性、不存在完全共線性的假設；只有在需要對引數進行假設檢驗時，才會用到概率論的思想，認為Y的觀測值是其整體的一個樣本，且其整體服從某個概率分布，令Y（或誤差項）服從正態分布，可以更方便對估計量進行假設檢驗、置信區間估計，當然，在大樣本情況下，Y不需要服從正態分布也可以對其假設檢驗（估計量漸進性），
這里有一點疑問，就是為什么要構造 ∑ ( Y ? β X ) 2 \sum (Y-\beta X)^2 ∑(Y?βX)2這樣的形式衡量差異，在機器學習中，一般會稱這樣衡量預測值和真實值差異的函式為損失函式（loss function），最小二乘法的教材中會說，相比于殘差的其他冪次來說，取平方時候，引數估計量更容易求出，且其統計性質容易推導，這樣的損失函式也是"ordinary least square"方法得名的原因，

極大似然法估計

估計思想

引入概率論的思想進行引數估計，極大似然估計認為模型引數 β \beta β是一個確定的值，但 y i , y 2 , . . . , y n y_i,y_2,...,y_n yi?,y2?,...,yn?是從整體中抽取的一個隨機樣本，應當服從某個以 β \beta β為引數的概率分布 f ( y 1 , y 2 , . . . , y n ∣ β ) f(y_1,y_2,...,y_n|\beta) f(y1?,y2?,...,yn?∣β)，這里涉及極大似然原理，即令現有觀測情況發生概率最大的引數最有可能是真實引數，這個原理更多是基于經驗直覺，目前沒有找到與其直接相關的嚴謹數學推導，
可以類比拋硬幣，如果事先不知道這枚硬幣兩面質量誰大誰小，現在做實驗，拋100次硬幣，硬幣拋n次某面向上的概率服從多重伯努利分布，引數為p，且每次拋硬幣事件獨立，則 f ( y 1 , y 2 , . . . , y 100 ∣ p ) = ∏ i = 1 100 f ( y i ∣ p ) f(y_1,y_2,...,y_{100}|p)=\prod_{i=1}^{100} f(y_i|p) f(y1?,y2?,...,y100?∣p)=∏i=1100?f(yi?∣p)，為了方便計算，對該式取對數，則成為對數似然函式 l o g ( ∑ i = 1 100 f ( y i ∣ p ) ) log(\sum_{i=1}^{100} f(y_i|p)) log(∑i=1100?f(yi?∣p))，則最大化這樣一個分布函式，對p求一階導，可以證明要取的引數p可以就是頻率n/100，
從這個例子中，也可以看出極大似然估計的合理性，大數定理證明了，當一個隨機試驗在相同試驗條件下重復很多次后，其各事件出現的頻率近似于其概率，因此，在上述例子中，當n → ∞ \to\infty →∞， p ^ = k / n \hat{p}=k/n p^?=k/n一定近似于其真值，因此，這樣的估計量具有漸進性，是一個好的估計量，

線性回歸中應用

用極大似然估計，若要寫出極大似然函式，就要先知道Y的概率函式，也就是需要先假設y服從某個概率分布，這是和最小二乘法差別較大的一個點，對于連續變數，一般假設y服從正態分布，
現建立模型 y = w x + ? y=wx+\epsilon y=wx+?，假設 p ( y ∣ w , x ) ～ N ( w x , ? 2 ) p(y|w,x)\sim N(wx,\epsilon^2) p(y∣w,x)～N(wx,?2)，
則有如下推導程序（摘自清華計算機系王鑫老師課件）：

可以看出，極大似然法推匯出來的要最小化的函式，正是最小二乘法直接構造出來的損失函式，因此，估計量的運算式相同，

貝葉斯估計

估計思想

還是以拋硬幣估計出現某面概率p為例，之前舉例是拋100次硬幣，但在小樣本中，可能出現某個樣本和總體分布差別較大的情況，這時頻率和概率的差別也就較大，也就是說，這樣估計的結果容易受小樣本極端分布的干擾，出現有悖常理的結果，如，拋了10次硬幣，即使雙面質量相同，也有 10 2 10 \frac{10}{2^{10}} 21010?的概率出現9次正面，而這種情況一旦出現，得出結論 p = 9 10 p=\frac{9}{10} p=109?和真正的概率相差太遠，因此，我們需要一個先驗概率，對試驗得到頻率進行校正，在本例中，先驗概率就是正/反面出現的P=0.5，
事實上，是否需要用先驗概率對試驗概率進行校正，正是頻率學派和貝葉斯學派的一個重要分歧，

貝葉斯公式

首先給出一個應用情境：以拋硬幣為例，定義客觀上硬幣正面/反面向上為事件A，拋硬幣試驗結果（正面還是反面向上）為事件B（是一系列可能結果 B 1 , B 2 . . . B n B_1,B_2...B_n B1?,B2?...Bn?的集合），已知一個先驗概率：在不知道試驗結果的情況下，判斷硬幣正反面質量相同，即P(A）=0.5，同時知道，試驗結果B服從引數為p(A)的多重伯努利分布，即P(B|A)已知，現在要求在已知試驗結果條件下，硬幣正反面向上的概率，即P(A|B)，因此，要將這個條件概率用所有已知條件表示
首先用條件概率公式：
P ( A ∣ B ) = P ( A B ) P ( B ) P(A|B)=\frac{P(AB)}{P(B)} P(A∣B)=P(B)P(AB)?，再對右側分母用條件概率
P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)?
極大似然法的思路，就是取p(A)，使P(B|A)最大，因此，P(B|A)就是一個極大似然函式，由于P(B)和所要求對引數無關，給定Y之后，P(B)即為一個常數，因此，上式還可以寫成：
P ( A ∣ B ) ∝ P ( B ∣ A ) P ( A ) P(A|B)\propto P(B|A)P(A) P(A∣B)∝P(B∣A)P(A)
即為極大似然函式*先驗概率，同時注意在貝葉斯學派中，P(A)、P(A|B)不再是一個確定值，而服從某個概率分布，這也是頻率和貝葉斯學派的重要分歧之一，頻率學派認為，引數是一個確定值，只不過由于試驗樣本規模的限制，在引數估計上存在誤差區間，

最大后驗估計

極大似然的思路是取一個與A有關的引數，最大化試驗結果概率分布值P(B|A)，在貝葉斯估計中，構造出來的函式是給定試驗結果，引數服從的分布，延續類似思想，想取一個與A有關的引數，最大化引數概率分布值P(A|B），（個人感覺為何要最大化P(A|B）在解釋邏輯上還差了點，但目前還沒找到更好的解釋，若有同志有更好的理解歡迎在評論區交流）
可以看出，最大后驗估計實際上是點估計，是簡化后的結果，因為貝葉斯假設引數服從某個分布，而這樣估計出的結果，引數僅為一個確定的值，因此，還有更復雜一些的方法，如選取一個初始的先驗概率P(A)后，在每次試驗后都用貝葉斯公式對這一概率進行迭代，其直觀依據是，每次試驗后，我們對事件A的概率認知都有了更新，在試驗足夠多次數后，這種認知基本會達到穩定狀態，這樣得到的最終結果即是A的一個概率分布函式 f ( A ∣ B ) f(A|B) f(A∣B)，當然，這樣的計算復雜度更高，速度更慢，
下面的作業是確定初始先驗概率P(A)，一般來說，我們會對其選取一個“共軛先驗”以簡化計算，共軛這個概念可以理解成，當式子M乘以其共軛函式N時候，可以仍然得到一個和M結構相似的式子，這樣不會因為要乘一個因式讓式子變的過于復雜，因此要確定P(A)，要先確定P(B|A)分布，
可以證明，若M是一個高斯分布，其共軛先驗也可以選取高斯分布；若M服從n重伯努利分布，其共軛先驗可以選取beta(a,b)分布，

最大后驗估計應用

線性回歸

在線性回歸中，和此前推導的貝葉斯有一些區別，此處涉及3個事件（w,x,y)，只要多用幾次條件概率代換即可，具體推導程序如下（摘自清華計算機系王鑫老師課件）：

此時，p(w)設為高斯分布，可以看出，右側兩個高斯分布相乘，則可以直接用指數相加合并，求導只要令合并后的指數一階導為0即可，

獨立重復試驗

再看多次擲硬幣試驗，由于每次試驗獨立，則所有試驗結果（0-1）的概率分布相乘即為總的概率分布函式P(B|A)：
∏ i = 1 N μ x i ( 1 ? μ ) 1 ? x i \prod_{i=1}^{N}\mu^{x_i}(1-\mu)^{1-x_i} ∏i=1N?μxi?(1?μ)1?xi?
其中，令 x i = 1 x_i=1 xi?=1時表示硬幣正面向上， x i = 0 x_i=0 xi?=0表示反面向上， μ \mu μ為正面向上的概率，即為要求的引數，
由設定可知， ∑ i = 1 N x i = k \sum_{i=1}^{N} x_i=k ∑i=1N?xi?=k，其中，k為N次試驗中正面向上次數；同樣可以令 ∑ i = 1 N ( 1 ? x i ) = q \sum_{i=1}^{N} (1-x_i)=q ∑i=1N?(1?xi?)=q，q為N次試驗中反面向上的次數，
此時，P(A)設為beta(a,b)分布，形式為 μ α ? 1 ( 1 ? μ ) β ? 1 B ( α , β ) \frac{\mu^{\alpha-1}(1-\mu)^{\beta-1}}{B(\alpha,\beta)} B(α,β)μα?1(1?μ)β?1? ，其中，分母為一個正則化項，
對P(B|A)P(A)取對數，整理可得：
p ( μ ∣ k , q ) = ( k + α ? 1 ) l n μ + ( q + β ? 1 ) l n ( 1 ? μ ) p(\mu|k,q)=(k+\alpha-1)ln\mu+(q+\beta-1)ln(1-\mu) p(μ∣k,q)=(k+α?1)lnμ+(q+β?1)ln(1?μ)
因此可以看出，當樣本量，即N=k+q很大時，a-1,b-1均可近似忽略，即得到對數極大似然函式，令一階導=0即可得到 μ = k / N \mu=k/N μ=k/N，即為頻率，與本文前述結論吻合，