Python深度學習入門筆記 5
這一部分，我們介紹一下深度學習的一些性質特點，發展狀況和未來方向等，這一部分沒有什么具體的技術細節，也沒有代碼實作，只是作為后續進一步學習的簡單前瞻，
1.加深網路
加深網路成層數的好處：
- 減少網路的引數數量，與沒有加深層的網路相比，加深了層的網路可以用更少的引數達到同等水平（或者更強）的表現力，例如下面使用兩次3 × 3的卷積運算可以達到一次5 × 5的卷積運算的效果，斌給它們的引數數量分別是18（2*3*3）和25（5*5)，
疊加小型濾波器來加深網路的好處是可以減少引數的數量，擴大感受野（receptive field，給神經元施加變化的某個區域空間區域），并且，通過疊加層，將ReLU等激活函式夾在卷積層的中間，進一步提高了網路的表現力，這是因為向網路添加了基于激活函式的“非線性”表現力，通過非線性函式的疊加，可以表現更加復雜的東西， - 使學習更加高效，與沒有加深層的網路相比，通過加深層，可以減少學習資料，從而高效地進行學習，
- 分層次地傳遞資訊，就如上一部分最后提到的”第1層的神經元對邊緣或斑塊有回應，第3層對紋理有回應····“也就是說，通過加深層，可以將各層要學習的問題分解成容易解決的簡單問題，從而可以進行高效的學習，
不過，對于像手寫數字識別這樣一個比較簡單的任務，就沒有必要使用太多的層，
2.深度學習的小歷史
一般認為，現在深度學習之所以受到大量關注，其貧訓是2012年舉辦的大規模影像識別大賽ILSVRC（ImageNet Large Scale Visual Recognition Challenge），在那年的比賽中，基于深度學習的方法（通稱AlexNet）以壓倒性的優勢勝出，徹底顛覆了以往的影像識別方法，
VGG
VGG是由卷積層和池化層構成的基礎的CNN，它的特點在于將有權重的層（卷積層或者全連接層）疊加至16層（或者19層），具備了深度，
VGG中需要注意的地方是，基于3×3的小型濾波器的卷積層的運算是連續進行的，如下圖所示，重復進行“卷積層重疊2次到4次，再通過池化層將大小減半”的處理，最后經由全連接層輸出結果，
GoogLeNet
GoogLeNet的網路結構如下圖所示，圖中的矩形表示卷積層、池化層等，
從圖中可以看出，GoogLeNet的特征是，網路不僅在縱向上有深度，在橫向上也有深度（廣度），GoogLeNet在橫向上有“寬度”，這稱為**“Inception結構”**，
ResNet
它的特征在于具有比以前的網路更深的結構，
在深度學習中，雖然加深層對于性能提升很重要，但過度加深層的話，很多情況下學習將不能順利進行，導致最終性能不佳，ResNet中，為了解決這類問題，匯入了“快捷結構”（也稱為“捷徑”或“小路”），匯入這個快捷結構后，就可以隨著層的加深而不斷提高性能了（當然，層的加深也是有限度的），
3.深度學習的高速化
3.1基于GPU的高速化
由于GPU 可以高速地進行并行數值計算，因此GPU計算的目標就是將這種壓倒性的計算能力用于各種用途，深度學習中需要進行大量的乘積累加運算（或者大型矩陣的乘積運算）這種大量的并行運算正是GPU所擅長的，
3.2分布式學習
為了進一步提高深度學習所需的計算的速度，可以考慮在多個GPU或者多臺機器上進行分布式計算，
3.3運算精度的位數縮減
深度學習并不那么需要數值精度的位數，這是神經網路的一個重要性質，這個性質是基于神經網路的健壯性而產生的，這里所說的健壯性是指，比如，即便輸入影像附有一些小的噪聲，輸出結果也仍然保持不變，
在深度學習中，即便是16位的半精度浮點數，也可以順利地進行學習，
4.其他
4.1強化學習
強化學習的基本框架是，代理（Agent）根據環境選擇行動，然后通過這個行動改變環境，根據環境的變化，代理獲得某種報酬，強化學習的目的是決定代理的行動方針，以獲得更好的報酬，
簡單來說就是有一個獎懲措施，“督促”著代理做出適應當前環境的選擇，
4.2GAN生成對抗網路
其技術要點是使用了Generator（生成者）和 Discriminator（識別者）這兩個神經網路，以影像生成和識別為例，Generator 生成近似真品的影像，Discriminator判別它是不是真影像（是Generator生成的影像還是實際拍攝的影像），像這樣，通過讓兩者以競爭的方式學習，Generator會學習到更加精妙的影像作假技術，Discriminator則會成長為能以更高精度辨別真偽的鑒定師，
4.3遷移學習
將學習完的權重（的一部分）復制到其他神經網路，進行再學習（fine tuning），遷移學習在手頭資料集較少時非常有效，
4.4Data Augmentation 資料擴充
Data Augmentation基于演算法“人為地”擴充輸入影像（訓練影像），具體地說，如下圖所示，對于輸入影像，通過施加旋轉、垂直或水平方向上的移動等微小變化，增加影像的數量，這在資料集的影像數量有限時尤其有效，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/413227.html
標籤：AI