寬度學習系統(Broad Learning System, BLS)
作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/
寬度學習系統(Broad Learning System, BLS)由Chen等[1]提出，其基于“平展型”神經網路，因其高效性、結構靈活、且可以實作結構增量式學習等優勢，引起了廣泛的研究興趣，該博客主要講解BLS的大致原理與推導程序，
主要包括：
- 基礎知識：奇異值分解（SVD），激活函式，普通方陣求逆(H可逆)，求偽逆，嶺回歸與偽逆的近似，稀疏自編碼器（Sparse Auto Encoder），以及Greville定理，其中Greville定理用于增量學習，分塊矩陣求偽逆，詳細推導請參考[3][4]與博客第四部分，
- 寬度學習系統(Broad Learning System, BLS)：寬度學習系統的增量學習總體框架、增加額外的增強節點、增加額外的特征映射節點、增加額外的輸入資料，
- 寬度學習系統(BLS)與極限學習機(ELM)的區別與聯系，
1. 基礎知識
2. 寬度學習系統(Broad Learning System, BLS)
3. 寬度學習系統(BLS)與極限學習機(ELM)的區別與聯系
4. 關于Greville方法的參考
計算A的偽逆的Greville方法是一種有限迭代法，它在已知矩陣的前k列所構成子矩陣的廣義逆矩陣基礎上，來構造前k+1列所構成子矩陣的廣義逆矩陣，因此，若矩陣A有n列，則經過n步就可得到A的偽逆，本節參考[3]，
5. 參考文獻
[1] C. L. P. Chen and Z. Liu, "Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture," in IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 1, pp. 10-24, Jan. 2018, doi: 10.1109/TNNLS.2017.2716952.
[2] Broad Learning System https://broadlearning.ai/
[3] 程云鵬, 張凱院, 徐仲. 高等學校教材 矩陣論[M]. 西北工業大學出版社, 1989.
[4] 王松桂. 廣義逆矩陣及其應用[M]. 北京工業大學出版社, 1996.
[5] Extreme Learning Machine - 凱魯嘎吉 - 博客園
[6] 字典更新與K-SVD 之矩陣的奇異值分解(SVD) - 凱魯嘎吉 - 博客園
[7] 澳門大學陳俊龍 | 寬度學習系統：一種不需要深度結構的高效增量學習系統 - 云基智能機器人實驗室
[8] 圖Lasso求逆協方差矩陣(Graphical Lasso for inverse covariance matrix) 之近端梯度下降(Proximal Gradient Descent, PGD) - 凱魯嘎吉 - 博客園
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/196019.html
標籤：其他