一、監督學習（supervised-learning）與無監督學習（unsupervised-learning）
1.監督學習中資料集是由特征組和標簽組成，目的是訓練機器對標簽取值的準確預測，如：房價預測、腫瘤判定、垃圾郵件判定，
2.無監督學習中人工不對資料集作任何說明，不給答案，不貼標簽，目的是讓機器自動將一堆混亂的資料分成幾個簇（類），而分類的標準沒有事先
· 給出，例如：新聞分類、自動市場分割、前景與背景聲音分割，
二、回歸問題（regression）與分類問題（classification）
1.回歸與分類都屬于監督學習，
2.回歸問題的標簽是在一定區間內的連續量，例如房價預測，
3.分類問題的標簽是有限的離散變數，例如腫瘤鑒定，
3.分類問題與回歸問題可以相互轉化，對于分類問題，可以轉化為物件標簽的概率預測，而概率處于【0,1】之間，可以認為是一個回歸問題，例如Logistic回歸
就是運用回歸方法來解決分類問題的；對于回歸問題，可以通過標簽的區間劃分將物件分為不同類別，所以可以用分類問題的演算法來近似預測，
三、線性回歸（linear regression）
1.符號定義
M:資料量（圖中一行為一份資料）；
X：特征輸入，xj(i)表示第i行資料第j個特征量；
Y：目標輸出，為一個列向量；
θ：模型引數；
hθ (x): 假設函式（Hypothesis），如：
2.代價函式（cost function）
公式表示每一份資料的預測值與實際值之間偏差的平方之和，再取均值，代價越小，擬合越好，
只有一個模型引數時，代價函式是一個一元二次函式，當有兩個模型引數時，代價函式分布如下：
用等高線圖表示,每個等值線表示代價相同，越接近中心，代價越小：
3.梯度下降法（gradient descent）
沿梯度方向更新模型引數，最終達到區域最低點，但當特征較多時，更多時候取得是區域最小值，
更新方程：
α為學習率，他的大小決定了達到最優解的快慢，如果α太小，迭代的次數就會很多，但最終迭代結果越精確；而如果α太大，一開始會很快接近最優解，
但在最優解附近震蕩，一般需要對迭代結果進行檢查，以確保演算法的正確以及學習率的合理性，可以繪制iteration-J曲線圖進行除錯，或者，采用動態學
習率，在接近收斂時學習率可以自動變小，
梯度下降主要有BATCH梯度下降和隨機梯度下降，前者在計算代價函式時采用全部資料，這在資料量十分大時計算量非常大，因此常采用后者，取部分資料
計算代價函式，兩者迭代程序分別如下：
4.特征縮放（feature scaling）
當多個特征的取值相差的數量級較大時，等高線被過分拉長，會導致迭代次數增加，降低演算法效率，
因此在處理多元線性回歸時要特征縮放，將特征的值統一到（-1,1）附近，
5.多項式回歸（polynomial scaling）
普通的線性回歸，擬合出來的都是一條直線，有時候并不能很好地貼合資料，例如在房價預測中，假設特征只有size，那么我們自己可以定義
第二特征為（size）^2，甚至定義第三特征(size)^3，那么假設函式仍是各特征的線性函式，但卻原始特征size的三次函式了，
6.方程的矩陣表示
♦資料矩陣
資料矩陣的行表示第i份資料，包含所有特征量；
資料矩陣的串列示某個特征的所有資料，其中x_n^((m))=1，
♦系數矩陣
系數矩陣每行對應一個特征；
♦輸出矩陣
♦方程的矩陣表示
7.正規方程（normal equation）
我們的目標是尋求代價函式的最小值，那么可以求使一階偏導為0的點，即：
最終可以得到正規方程，即θ的最優解：
采用正規方程法，不需要再設定學習率，程序自動化了很多，并且這里是不需要特征縮放的；在特征個數n比較小的時候，效率高于梯度下降法；
但當n比較大（萬級）,就不如梯度下降法了，并且正規方程法對后面的許多演算法也不適用，在運用正規化方程式，可能會碰到資料舉證不可逆的
情況，原因主要有兩點：有兩個以上的特征線性相關，樣本數少，而特征量過多（如m=10,n=100），
8.矩陣向量求導
參考博客：https://www.cnblogs.com/pinard/p/10750718.html
關于矩陣向量求導，主要有以下9種情況：
為了清晰區分標量、向量與矩陣，用小寫表示標量，大寫表示向量與矩陣，并且寫出它們的下標，關于求導布局，有分子布局和分母布局兩種，一般
標量對向量矩陣求導采用分母布局，向量矩陣對標量求導采用分子布局，向量對向量求導采用分子布局，總結起來就是分子是向量或矩陣，就采用分子布局，
♦向量或矩陣對標量求導
假設有一系列標量對同一標量求導：
將這一系列標量排列為向量，所以向量矩陣對標量求導就是向量矩陣的每個元素都對標量求導，求完后再按分子布局排列，矩陣對標量求導也類似，
♦標量對向量或矩陣求導
♦向量對向量求導
就是對向量Y中的每個元素，它要對向量X中的每個元素都求遍導，求導結果為一個矩陣，由于采用分子布局，則矩陣的列與Y列數相同，行與X
的列數的相同，
如果是列向量對行向量求導，結果矩陣同上；
如果是行向量Y_(1*m)對列向量X_(n*1)求導，結果維度為n*m，
9.微分法求解矩陣向量的導數
參考博客：https://www.cnblogs.com/pinard/p/10791506.html
♦微分與導數的關系
對于含多變數的函式的微分，有以下結論：
將變數x,y,z整合為向量的形式：
也就是說標量對向量的導數與它的向量微分存在一個轉置關系，這樣我們可以通過間接求微分來求導數，為了統一向量微分和矩陣微分，公式改為：
Tr為跡，等于主對角元素之和，那么標量的跡等于它本身，
♦矩陣微分的性質
♦跡的性質
10.正規方程推導
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/65619.html
標籤：其他
上一篇：機器學習-樸素貝葉斯