計算機視覺與深度學習
本文按照北京郵電大學計算機學院魯鵬老師的計算機視覺與深度學習課程按章節進行整理，需要的同學可借此系統學習該課程詳盡知識~
第三章 線性分類器
- 計算機視覺與深度學習
- 本節重點
- 一、影像表示
- 二、分類模型
- 1.線性分類器
- 定義
- 決策規則
- 優勢
- 矩陣表示
- 2.線性分類器權值向量
- 3.線性分類器決策邊界
- 三、損失函式
- 1.損失函式定義
- 2.多類支撐向量機損失
- 定義
- 示例
- 損失函式擴展
- 3.正則項與超引數
- 正則項定義
- 超引數定義
- 示例（引入L2正則項）
- 常用正則項
- 四、優化演算法
- 1.引數優化
- 2.演算法目標
- 3.相關演算法
- 1）梯度下降演算法
- 梯度計算
- 演算法效率
- 2）隨機梯度下降演算法
- 3）小批量梯度下降演算法
- 訓練程序
- 資料集劃分
- 資料預處理
本節重點
一、影像表示
影像型別：二進制影像（非黑即白）、灰度影像、彩色影像
大多數分類演算法都要求輸入向量
二、分類模型
1.線性分類器
定義
線性分類器是一種線性映射，將輸入的影像特征映射為類別分數，
決策規則
優勢
- 形式簡單、易于理解
- 通過層級結構(神經網路)或者高維映射(支撐向量機)可以形成功能強大的非線性模型
矩陣表示
2.線性分類器權值向量
注：
- 權值看做是一種模板
- 輸入影像與評估模板的匹配程度越高，分類器輸出的分數就越高
3.線性分類器決策邊界
給出最優的分類模型，還要損失函式與優化演算法的幫忙，
三、損失函式
1.損失函式定義
損失函式搭建了模型性能與模型引數之間的橋梁，指導模型引數優化，
- 損失函式是一個函式，用于度量給定分類器的預測值與真實值的不一致程度，其輸出通常是一個非負實值，
- 其輸出的非負實值可以作為反饋信號來對分類器引數進行調整，以降低當前示例對應的損失值，提升分類器的分類效果，
2.多類支撐向量機損失
定義
示例
損失函式擴展
問題:假設存在一個W使損失函式L=0，這個W是唯一的嗎?
答案：不唯一，因為W:同樣有L=0
那么如何在W1和W2之間做出選擇? 引入正則項
3.正則項與超引數
正則項定義
超引數定義
示例（引入L2正則項）
常用正則項
四、優化演算法
1.引數優化
引數優化是機器學習的核心步驟之一， 它利用損失函式的輸出值作為反饋信號來調整分類器引數，以提升分類器對訓練樣本的預測性能，
2.演算法目標
3.相關演算法
1）梯度下降演算法
梯度計算
求梯度時一般使用決議梯度,而數值梯度主要用于決議梯度的正確性校驗(梯度檢查)，
演算法效率
2）隨機梯度下降演算法
3）小批量梯度下降演算法
訓練程序
資料集劃分
如果資料很少，那么可能驗證集包含的樣本就太少，從而無法在統計上代表資料，
資料預處理
附：線性分類器體驗
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/437005.html
標籤：AI