一篇2018年關于基于CNN的增量學習論文：A CNN-Based Broad Learning System，
對計算機視覺來說，作者提出的CNN-Based Broad Learning System（CNNBLS）比 Broad Learning System（BLS）更有效，其中用卷積層和最大池化層提取特征，用principal component analysis（PCA） 主成分分析法對特征降維，最后使用Ridge regression嶺回歸法得到分類結果，
與BLS和RVFLNN相似，作者提出的CNNBLS中卷積層的引數是隨機初始化的，同時，CNNBLS使用所有輸入資料做特征提取，從而避免像BLS降維丟失細節資訊的問題，
在BLS中，輸入的高維資料首先會隨機映射到低維的x，再用x生成enhancement nodes，使用陳俊龍教授提的三種演算法實作增量學習(*陳俊龍教授關于BLS論文的讀書筆記傳送門)，而作者提出的CNNBLS結構如下圖所示：
- 首先，像BLS一樣將輸入影像 I 映射到特征向量 x 中， 不同之處在于，我們使用PCA學習映射矩陣，而BLS使用隨機投影，
- 然后，使用卷積和池化操作將輸入影像 I 用于提取enhancement node增強節點， PCA應用于池化層以提取enhancement feature增強特征，
- 可以多次重復Step2以提取更深層的特征， 其中卷積內核是隨機生成的，嶺回歸用于學習權重W，
偽代碼如下：
實驗中，作者采用控制變數測驗如下引數對實驗結果的影響：
- N : 訓練樣本的數量，取值范圍 {500, 1000, 2000, 3000, 4000}
- P : PCA的引數，取值范圍 {0.91, 0.93, 0.95, 0.97, 0.99}
: 嶺回歸的引數，取值范圍 {0.001, 0.01, 0.1, 1, 5, 10, 50, 100, 1000, 10000}
- 卷積內核運算式為 :
: 取值范圍 {0.5, 1, 1.5, 2}
- wid是上一個特征圖的寬度，hei是上一個特征圖的高度
把CNNBLS在MNIST和NORB資料集上測驗，結果如下：
其中，圖1到圖6是MNIST資料集的結果，圖7到圖12是NORB資料集的結果，每一個圖的標題表示控制的變數，如圖1表示控制N和的值，圖例表示不同曲線顏色代表的N的值，橫坐標代表
的取值范圍的Index，所有圖的縱坐標均表示Accuarcy，
測驗結論如下：
- Accuarcy會隨著N增大而提高
- Accuarcy會隨著
- Accuarcy會隨著卷積內核數量增大而提高
- 多數情況下，Accuarcy會隨著p增大而提高
- Accuarcy會隨著
另外，作者把CNNBLS和BLS在兩個資料集上作對比，隨著測驗樣本增加，CNNBLS的性能也表現的比BLS好，
總結一下，
- CNNBLS在計算機視覺上比BLS的效果要更好，因為CNNBLS采用卷積層和池化層有效的提取資料特征，同時減少了引數的數量，
- CNNBLS把所有的輸入資料用于特征提取，而BLS在輸入資料 x 降維處理時可能丟失細節，
- CNNBLS吸取了CNN和BLS的精華，能使用所有輸入資料提取特征，類似BLS的A[ Z | H ]的程序，PCA降維后的資料應用嶺回歸計算權重W：
，
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/169366.html
標籤：其他