預期邏輯順序：
最小二乘原理（大約一小段）
最小二乘歷史由來，
最小二乘法公式形式（以一次函式為例）
最小二乘估計分析
最小二乘性質，特點
高斯分布
t分布
加入正則化的考量（Hilbert空間，kernel方法，表示定理）
拉普拉斯正則化最小二乘
以上大致框架，回頭慢慢補細節
涉及知識，概率論數理統計，流形，kernel方法等
搜羅相關文獻：
1）PRML_中文翻譯版
第3章，關于損失函式的討論，一個常見選擇是平方誤差損失，
對于回歸問題，回歸問題的目標是在給定D維輸入變數x的情況下，預測一個或者多個連續目標變數t的值，（1，多項式曲線擬合）線性回歸模型具有可調節的引數，具有線性函式的性質，線性回歸模型最簡單的形式是輸入變數的線性函式，但通過將一組輸入變數的非線性函式進行線性擬合，會得到基函式，這種模型是引數的線性函式，使其具有一些簡單的分析性質，同時關于輸入變數是非線性的，
給定一個由N個值{xn}組成的資料集，其中n=1,2...N，以及對應目標值{tn}，目標是預測對于給定新的x值得情況下，給出t的值，最簡單方法：建立一個適當的函式y(x)，對于新的輸入x，能直接給出對應的t的預測，更一般而言，從概率觀點看，目標是對預測分布p(t|x)建模，因為它表達了對于每個x值，我們對于t的值得不確定性，在這個條件概率分布中，對于任意x的新值，可以對t進行預測，這種方法等同于最小化一個恰當選擇的損失函式的期望值，對于實值變數而言，損失函式一個通常選擇為平方誤差損失，這種情況下最優解由t的條件期望給出，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/65607.html
標籤：其他
下一篇：NLTK自然語言處理庫