1簡介
杰弗里·埃弗里斯特·辛頓（Geoffrey Everest Hinton），計算機學家、心理學家，被稱為“神經網路之父”、“深度學習鼻祖”，他研究了使用神經網路進行機器學習、記憶、感知和符號處理的方法，并在這些領域發表了超過200篇論文，他是將（Backpropagation）反向傳播演算法引入多層神經網路訓練的學者之一，他還聯合發明了波爾茲曼機（Boltzmann machine），他對于神經網路的其它貢獻包括：分布特征（distributed representation）、時延神經網路、專家混合系統（mixtures of experts）、亥姆霍茲機（Helmholtz machines）等，
2 論文
2.1 玻爾茲曼機
1985年Hinton等人寫的《A learning algorithm for Boltzmann machines》，即玻爾茲曼機的學習演算法，玻爾茲曼機是第一個能夠學習不屬于輸入或輸出的神經元內部表征的神經網路，
熱量均衡下，系統在任一全域狀態的概率服從玻爾茲曼分布，玻爾茲曼分布有非常好的資料特性，它與資訊理論密切相關，特別地，兩個全域狀態的log 概率的微分在溫度1下剛好等于它們能量的微分，這樣容易求偏導數，容易采用梯度下降演算法，
文中提出模型4-2-4 Encoder，第一個4表示4個可見單元，可以代表輸入，2是隱藏單元，最后一個4代表可見單元，可以代表輸出，
參考下面文章：
1985年 玻爾茲曼機的學習演算法–Hinton論文系列《A learning algorithm for Boltzmann machines》
https://blog.csdn.net/zephyr_wang/article/details/120391250
2.2 反向傳播
反向傳播由下面這些人分別獨立發現：(Bryson and Ho, 1975; Werbos, 1974; Parker, 1985; LeCun, 1985; Rumelhart et al., 1986)，反向傳播是第一個有效的學習神經網路的方法，神經網路可以擁有一個或多個自適應隱藏單元層，
1986年Hinton等人寫的《Learning representations by back-propagating errors》，輸入與輸出之間隱藏單元的引入，使得計算復雜，采用反向傳播，
深度學習的開篇：2006年. G.E. Hinton 和R. R. Salakhutdinov的《Reducing the dimensionality of data with neural networks》
只從1980年代開始，通過深度autoencoder的反向傳播（backpropagation）是處理非線性維度下降的一個非常有效分方法，但需要滿足3個條件（1）計算機速度足夠快；（2）資料集足夠大；（3）初始權重有一個好的辦法，而現在剛好就滿足這三個條件了，
該文提出的模型：（1）第一步預訓練，迭代訓練很多RBMs，即訓練完一個RBM后，將其學到的特征用于訓練下一個RBM；（2）接著是Unroll（展開），構成一個深度autoencoder；（3）最后使用反向傳播fine-tuning，
參考下面文章：
- 1986年，反向傳播-Hinton論文系列《Learning representations by back-propagating errors》https://blog.csdn.net/zephyr_wang/article/details/120190585
- Hinton論文系列-Reducing the dimensionality of data with neural networks，2006年，https://blog.csdn.net/zephyr_wang/article/details/119878836
2.3 wake-sleep演算法
wake-sleep演算法，該演算法有兩個通路，一個是從下到上的識別連接，一個是從上到下的生成連接.
參考下面文章：
wake-sleep演算法-Hinton論文系列《To Recognize Shapes, First Learn to Generate Images》2006年
https://blog.csdn.net/zephyr_wang/article/details/120157174
2.4 deep belief nets
2006年Hinton等人寫的《A fast learning algorithm for deep belief nets》顯示了是有可能學習一個深度、緊密相連的信念網路，一次學習一層，進行如此學習方式的一種是假定當學習低層時，較高的層不存在；但這與簡單的因子化相似（替換難處理的后驗分布）不相容，為了使這些相似起作用，我們需要真的后驗盡可能逼近因子化，所以不是忽略較高層，而是假定他們存在，只是有捆綁的權重，他們滿足互補先驗分布（Complementary Prior），以使真后驗分布可以因子化，這就相當于擁有了一個無向模型，可以使用對比散度（contrastive divergence）有效的學習，
參考下面文章：
Hinton 論文系列《A fast learning algorithm for deep belief nets》2006年
https://blog.csdn.net/zephyr_wang/article/details/120007607
2.5 其他模型
-
AlexNet .是2012年ImageNet競賽冠軍獲得者Hinton和他的學生Alex Krizhevsky設計的，也是在那年之后，更多的更深的神經網路被提出，比如優秀的vgg,GoogLeNet，AlexNet中包含了幾個比較新的技術點，也首次在CNN中成功應用了ReLU、Dropout和LRN等Trick，
-
膠囊網路CapsNet，2017年
https://blog.csdn.net/zephyr_wang/article/details/118863203
現在卷積網路在物體識別領域占據了主導地位，其是否也存在指數性無效率，卷積網路不能很好的處理仿射變換，比如我們可能需要指數級的增加訓練樣本，
而本文說的膠囊網路（capsule）可以避免指數性無效率，其將像素強度轉換成識別片段的實體引數的向量，然后應用轉換矩陣來預測更大片段的實體化引數，轉換矩陣是學習部分和整體間的內在關系，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/301666.html
標籤：AI
上一篇：用python讀入csv檔案
下一篇：利用numpy實作資料基本操作