機器學習復習2
線性模型，雖為回歸，但是分類
單一屬性線性回歸：
目的：學得一個線性模型以盡可能準確地預測實值輸出標記
最小二乘法：均方誤差分別對w和b求導得到閉式解
多元線性回歸：
其他相同
不是滿秩矩陣，多個解，怎么選?
根據歸納偏好選擇解或引入正則化:對解空間的一種限制
優點：形式簡單，易于建模，可解釋性強，非線性模型的基礎（引入層級結構或高維映射）
缺點：對例外點魯棒性差，隨機取樣一致，魯棒回歸？
線性并不指對輸入變數的線性，而是指對引數空間的線性，線性模型完全具有描述非線性的能力，通用非線性化方法:核學習方法
對數線性回歸：輸出標記的對數為線性模型逼近的目標
廣義線性模型：聯系函式-單調可微函式
Logistic回歸：
尋找函式將分類標記與線性回歸模型輸出聯系起來，最理想的函式——單位階躍函式，缺點：不連續，替代函式——對數幾率函式
對數幾率：樣本作為正例的相對可能性的對數
對數幾率回歸優點：無需事先假設資料分布，可得到“類別”的近似概率預測，可直接應用現有數值優化演算法求取最優解
極大似然法確定引數
線性判別分析：LDA也可被視為一種監督降維技術
思想：同類樣例的投影點的協方差盡可能小，類中心之間的距離盡可能大
LDA的貝葉斯決策論解釋，兩類資料同先驗、滿足高斯分布且協方差相等時，LDA達到最優分類
多分類LDA將樣本投影到N-1維空間，N-1通常遠小于資料原有的屬性數，因此LDA也被視為一種監督降維技術
多分類學習：對問題進行拆分，為拆出的每個二分類任務訓練一個分類器，對于每個分類器的預測結果進行集成以獲得最終的多分類結果
拆分策略：一對一，一對其余，多對多
OvO：兩兩配對，訓練各個二分類任務分類器，新樣本提交給所有分類器預測，投票產生最終分類結果
OvR：某一類作為正例，其他反例，訓練各個二分類任務分類器，新樣本提交給所有分類器預測，比較各分類器預測置信度
OvO的存盤開銷和測驗時間開銷通常比OvR大，類別多時，OvO的訓練時間開銷通常比OvR小，預測性能差不多
糾錯輸出碼（ECOC）：編碼與解碼，根據編碼預測，距離最小的類別為最終類別
ECOC編碼對分類器錯誤有一定容忍和修正能力，編碼越長、糾錯能力越強，對同等長度的編碼，理論上來說，任意兩個類別之間的編碼距離越遠，則糾錯能力越強
類別不平衡，不同類別訓練樣例數相差很大情況(正類為小類)
再縮放：欠采樣：去除一些反例使正反例數目接近，過采樣（樣本復制，樣本插值，樣本生成）：增加一些正例使正反例數目接近，閾值移動
SVM：
函式間隔：｜w·x+b｜表示分類預測的確信程度，w·x+b與類標記y的符號是否一致表示分類是否正確，y(w·x+b)表示分類的正確性和確信度
當成比例改變w和b，超平面不變，但函式間隔會變化
幾何間隔：
SVM基本型：線性可分支持向量機學習的最優化問題--凸二次規劃
硬間隔最大化：輸入線性可分訓練資料集，輸出最大間隔分離超平面和分類決策函式
拉格朗日對偶優點：對偶問題往往容易解，引入核函式，推廣到非線性分類問題
分類決策函式只依賴于輸入x和訓練樣本輸入的內積，稱為線性可分支 持向量機的對偶形式，
將資料集中對應于拉格朗日乘子大于0的x稱為支持向量，支持向量一定在分割邊界上
支持向量機解的稀疏性: 訓練完成后, 大部分的訓練樣本都不需保留, 最終模型僅與支持向量有關.
在線性可分情況下，訓練資料集的樣本點中與分離超平面距離最近的樣本點的實體稱為支持向量，支持向量是使約束條件式等號成立的點
正例，負例，間隔，間隔邊界
拉格朗日乘子的求解：SMO，是二次規劃問題，其規模正比于訓練樣本數，在實際中開銷很大，
基本思路：不斷執行如下兩個步驟直至收斂：第一步:選取一對需更新的變數i和j，第二步:固定i和j 以外的引數, 求解對偶問題更新i和j
軟間隔最大化：線性不可分情況下允許支持向量機在一些樣本上不滿足間隔大于等于1的約束，輸入:線性不可分訓練資料集，輸出:分離超平面和分類決策函式
優化目標的兩層含義:1.間隔盡量大 2. 不滿足約束樣本盡可能少
C懲罰引數，超引數，調和作用，b不唯一
另一種解釋：最大化間隔的同時, 讓不滿足約束的樣本應盡可能少
0/1損失不易優化求解，合頁損失為“替代損失”
前者描述訓練集上的誤差，后者描述間隔大小
前者為結構風險，描述模型的某些性質，正則化項，后者為經驗風險，描述模型與訓練資料的契合程度，通過替換上面兩個部分, 可以得到許多其他學習模型
若不存在一個能正確劃分兩類樣本的線性超平面，則將樣本從原始空間映射到一個更高維的特征空間, 使得樣本在這個特征空間內線性可分.
可以不知道𝜙(𝑥)的顯式表達，只要知道一個如下所示的核函式，則優化式依然可解，
常用核函式：線性核，多項式核，高斯核，拉普拉斯核，Sigmoid核
特征空間的選擇對SVM的性能至關重要，文本資料通常采用線性核，情況不明時可先嘗試高斯核
SVM決策函式：
不考慮偏移項b，SVM學得的模型可以表示成核函式的線性組合.
表示定理：線性模型的”核化”
支持向量回歸：允許模型輸出和實際輸出間存在間隔帶偏差.落入中間間隔帶的樣本不計算損失, 從而使得模型獲得稀疏性.
決策樹：決策樹基于樹結構來進行預測，可用于分類任務和回歸任務
劃分選擇：決策樹學習的關鍵在于如何選擇最優劃分屬性
純度反映目標變數的混亂(分歧)程度，隨著劃分程序不斷進行，結點的“純度”越來越高
屬性劃分方法: 資訊增益，增益率，基尼指數
資訊熵:表示資訊的不確定度
p=0時，為0
當不確定性越大時，它所包含的資訊量也就越大，資訊熵也就越高
資訊增益：指的就是劃分可以帶來純度的提高，資訊熵的下降，它的計算公式，是父節點的資訊熵減去 所有子節點的歸一化資訊熵
分支節點權重
資訊增益對可取值數目較多的屬性有所偏好
增益率：
IV(a)稱為固有值，屬性a的可能取值數目越多，值通常就越大
增益率準則對可取值數目較少的屬性有所偏好
啟發式：先從候選劃分屬性中找出資訊增益高于平均水平的屬性，再從中選取增益率最高的
基尼指數：反映了從中隨機抽取兩個樣本，其類別標記不一致的概率
基尼值越小，純度越高
剪枝處理：防止過擬合
基本策略：預剪枝和后剪枝
判斷決策樹泛化性能是否提升的方法，留出法:預留一部分資料用作“驗證集”以進行性能評估
預剪枝：決策樹生成程序中，對每個結點在劃分前先進行估計，若當前結 點的劃分不能帶來決策樹泛化性能提升，則停止劃分并將當前結點 記為葉結點，其類別標記為訓練樣例數最多的類別
分別計算劃分前(即直接將該結點作為葉結點)及劃分后的 驗證集精度，判斷是否需要劃分
后剪枝：先從訓練集生成一棵完整的決策樹，然后自底向上地對非葉結點進行考察，若將該結點對應的子樹替換為葉結點能帶來決策樹泛化性能提升，則將該子樹替換為葉結點
連續值處理：連續屬性離散化
若當前結點劃分屬性為連續屬性，該屬性還可作為其后代結點的劃分屬性
缺失值處理：根據無缺失值樣本進行劃分屬性選擇，讓同一個樣本以不同概率劃入不同的子結點中去
單變數決策樹分類邊界:軸平行
多變數決策樹非葉節點不再是僅對某 個屬性,而是對屬性的線 性組合
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/419987.html
標籤：AI
上一篇：條件期望求解快速排序演算法復雜度