學習資料：《統計學習方法第二版》第一章
一. 機器學習定義
- 機器學習就是計算機能夠利用資料和統計方法提高系統性能的方法，
二. 機器學習分類
- 機器學習一般可以分為監督學習、無監督學習、半監督學習和強化學習，
三. 機器學習方法三要素
- 模型+策略+優化演算法=機器學習方法
模型
- 在監督學習中模型就是要學習的條件概率或決策函式，也就是輸入空間到輸出空間的映射，映射就是模型，模型就是這個映射，其中條件概率對應的是概率模型，決策函式對應的是非概率模型，
策略
-
機器學習的目標是從假設空間中找到一個泛化錯誤較低的“理想”模型，即想找到一個針對這類問題的最優模型，策略就是找到這個理想最優模型的準則！
-
常用的策略是損失函式和風險函式，損失函式是用來度量模型一次預測的好壞，風險函式是用來度量平均意義下模型預測的好壞，損失函式和風險函式越小，預測結果越精確，
-
常用的損失函式：0-1損失、平方損失函式(常用于回歸問題)、交叉熵損失函式(常用于分類問題)、Hinge損失(常用于二分類問題)，
-
期望風險(模型的平均損失)、經驗風險、結構風險，其中期望風險無法計算，一般采取下面兩個策略：
經驗風險最小化策略(最大似然估計)、結構風險最小化策略(最大后驗估計)， -
最大似然引數估計(MLE，頻率派)：由生成的資料結果反推引數\((P(X|\theta))\)，假設引數均勻分布（“讓資料自己說話”，當先驗概率均勻分布時，即無資訊先驗）；
最大后驗概率引數估計(MAP，貝葉斯派)：由生成資料結果反推引數，額外要加上先驗概率，
最大后驗概率是貝葉斯學派的思想，基礎是貝葉斯公式：\(P(\theta|X)=\frac{P(X|\theta) P(\theta))}{P(X)})\)
最大似然估計和貝葉斯估計可以看作是頻率學派和貝葉斯學派對需要估計 的引數 ?? 的不同解釋. 當 ?? → ∞ 時，先驗分布 ??(??; ??) 退化為均勻分布，稱為無資訊先驗(Non-Informative Prior)，最大后驗估計退化為最大似然估計，
演算法
- 演算法就是具體通過什么計算方法來求解最優模型；機器學習問題最終就變成了最優化的問題，
- 常用的優化演算法：梯度下降(SGD和小批量梯度下降)、早期停止法等，梯度下降演算法就是用來最小化損失函式從而得到更優模型，
- 梯度下降演算法思想：通過將對每個引數不停減去“對應引數偏導數*學習速率“來同時更新每個引數，從而達到求得區域最小的函式值，
四. 監督學習的應用
監督學習的應用 主要在三個方面：分類問題、回歸問題、標注問題，
- 分類問題：預測結果為離散值；
- 回歸問題：預測結果為連續值；
- 標注問題：有關結構化序列的問題，比如NLP中的詞性標注等問題，需要考慮到背景關系的關系，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/39012.html
標籤：其他
上一篇：寫給程式員的機器學習入門 (二) - pytorch 與矩陣計算入門
下一篇：監督學習方法