深度學習是解決問題的一系列模型與方法，主流的深度學習模型有CNN、RNN（LSTM）、transformer、VAE、GAN等，但深度學習模型不是深度學習領域中唯一的研究方向，且不一定是最重要的研究方向，除了模型之外，比較重要的還有優化演算法、損失函式、采樣方法等，
CNN 卷積神經網路
基本原理
- 卷積層 – 主要作用是保留圖片的特征
- 池化層 – 主要作用是把資料降維，可以有效的避免過擬合
- 全連接層 – 根據不同任務輸出我們想要的結果
特點
- 能夠將大資料量的圖片有效的降維成小資料量 (并不影響結果)
- 能夠保留圖片的特征，類似人類的視覺原理
實際應用
- 圖片分類、檢索
- 目標定位檢測
- 目標分割
- 人臉識別
- 骨骼識別
RNN 回圈神經網路
基本原理
- 傳統神經網路的結構：輸入層 – 隱藏層 – 輸出層，RNN 跟傳統神經網路最大的區別在于每次都會將前一次的輸出結果，帶到下一次的隱藏層中，一起訓練，
- RNN 到 LSTM – 長短期記憶網路保留較長序列資料中的「重要資訊」，忽略不重要的資訊
- LSTM 到 GRU - 保留了 LSTM 劃重點，遺忘不重要資訊的特點，在 long-term 傳播的時候也不會被丟失，
特點
- RNN 有短期記憶問題，無法處理很長的輸入序列
- 訓練 RNN 需要投入極大的成本
- 長期資訊可以有效的保留（GRU）
- 挑選重要資訊保留，不重要的資訊會選擇“遺忘”（LSTM）
實際應用
- 文本生成
- 語音識別
- 機器翻譯
- 生成影像描述
- 視頻標記
GANs 生成對抗網路
基本原理
- 生成對抗網路（GAN）由 2 個重要的部分構成：
- 生成器 (Generator)：通過機器生成資料（大部分情況下是影像），目的是“騙過”判別器
- 判別器 (Discriminator)：判斷這張影像是真實的還是機器生成的，目的是找出生成器做的“假資料”
- 訓練程序
- 第一階段：固定「判別器 D」，訓練「生成器 G」
- 第二階段：固定「生成器 G」，訓練「判別器 D」
特點
- 優勢
- 能更好建模資料分布（影像更銳利、清晰）
- 理論上，GANs 能訓練任何一種生成器網路，其他的框架需要生成器網路有一些特定的函式形式，比如輸出層是高斯的，
- 無需利用馬爾科夫鏈反復采樣，無需在學習程序中進行推斷，沒有復雜的變分下界，避開近似計算棘手的概率的難題，
- 缺陷
- 難訓練，不穩定，生成器和判別器之間需要很好的同步，但是在實際訓練中很容易 D 收斂，G 發散，D/G 的訓練需要精心的設計，
- 模式缺失（Mode Collapse）問題，GANs 的學習程序可能出現模式缺失，生成器開始退化，總是生成同樣的樣本點，無法繼續學習，
實際應用
- 生成影像資料集
- 生成人臉照片
- 生成照片、漫畫人物
- 影像到影像的轉換
- 文字到影像的轉換
- 語意 – 影像 – 照片的轉換
RL 深度強化學習
基本原理
強化學習是從動物學習、引數擾動自適應控制等理論發展而來，其基本原理是：如果 Agent 的某個行為策略導致環境正的獎賞 (強化信號)，那么 Agent 以后產生這個行為策略的趨勢便會加強，Agent 的目標是在每個離散狀態發現最優策略以使期望的折扣獎賞和最大，
特點
RL 與其他機器學習演算法不同的地方在于：
- 沒有監督者，只有一個 Reward 信號；
- 反饋是延遲的，不是立即生成的；
- 強化學習是序列學習，時間在強化學習中具有重要的意義；
- Agent 的行為會影響以后所有的決策，
實際應用
- 智能控制機器人及分析預測
- 自動駕駛，推薦，路徑優化
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/532566.html
標籤：其他