《繁凡的深度學習筆記》前言、目錄大綱

一文弄懂深度學習所有基礎 ！

● ● ● 本文《繁凡的深度學習筆記》是我自學完成深度學習相關的教材、課程、論文、專案實戰等內容之后，自我總結的 學習筆記 ^q^ 寫文章就圖一樂！這是我寫的第二本書！（第一本：《演算法競賽中的初等數論》）現在競賽退役的我更希望先沉淀，再輸出，所以更新速度相較以前會稍慢一些，但相信質量也會更高，請大家見諒，

??

● ● ● 因個人時間、能力和水平有限，本文并非由我個人完全原創，文章部分內容來自個人學習程序中使用到的教材、課程、論文綜述、以及各種博客，參考內容標注在每章末的參考資料之中，由我個人整理創作而成，僅做學習交流使用，無任何商業用途，之所以創作本文，是因為盡管如今互聯網上已經有了很多優秀的深度學習資源，但是由于深度學習的知識體系過于龐大，學習之后很容易遺忘，人類圣經《深度學習》相對初學者而言又有些晦澀難懂，因此本文旨在使用 簡明清晰、通俗易懂 的語言幫助大家構建起 全面 的深度學習 完整 知識框架，輕松學懂學會深度學習，本書對于深度學習的各個研究方向進行了詳細講解，同時各種知識拓展組成了每章的萬字長文綜述，也使得本文可以作為一本資料書進行使用，書中代碼均使用 TensorFlow2.0 以及 Pytorch 雙料實作，實用性強，如侵犯到您的合法權益，請聯系我洗掉，非常感謝各位為知識傳播做出的貢獻！

??

● ● ● 本文由我個人（ CSDN 博主 「繁凡さん」（博客） ， 知乎答主 「繁凡」（專欄）， Github 「fanfansann」（全部原始碼） ， 微信公眾號 「繁凡的小島來信」（文章 P D F 下載））整理創作而成，且僅發布于這四個平臺，僅做交流學習使用，無任何商業用途，
??
● ● ● 本文會隨著我的深入學習不斷地進行完善更新，Github 中的 P D F 版也會盡量每月進行一次更新，所以建議點贊收藏加關注，以便經常過來回看！
o(〃＾▽＾〃)o
??
? ? ? 使用到的課程與教材

• (強推) 李宏毅2021春機器學習課程（PyTouch）
  https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html

• 《TensorFlow深度學習》（龍龍老師） （TensorFlow2.0）
  https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book

• Coursera吳恩達《神經網路與深度學習》
  https://www.deeplearning.ai

• 《動手學深度學習》第二版
  https://zh-v2.d2l.ai

• 《深度學習》（花書）
  https://github.com/exacity/deeplearningbook-chinese

• 《無數的博客們、文章們與論文們》
  https://www.google.com

??

? ? ? 本文《繁凡的深度學習筆記》全匯總鏈接：《繁凡的深度學習筆記》前言、目錄大綱

??

? ? ? Github 地址：https://github.com/fanfansann/fanfan-deep-learning-note/
孩子的第一個 『Github』！給我個 ? Star \boxed{? \ \text{Star}} ? Star? 嘛！謝謝！！o(〃＾▽＾〃)o
「」

前言

??這是一本面向深度學習初學者的 深度學習筆記 ，相信大家在入門深度學習的時候都有一種感覺，各種好評如潮的深度學習課程，各種深入淺出的深度學習書籍，雖然都能很容易理解，但是學完之后會有一種 “我到底學了什么” 的空虛感，特別是在你完成了大量資料的學習，想要復習的時候，需要翻閱大量博客與聽課筆記、讀書筆記等，很是麻煩，如果大家閱讀過花書《深度學習》這類人類圣經，往往會有一種晦澀難懂的感覺，這類書籍盡管比較全面，但是并不適合完全零基礎的初學者閱讀，此外，深度學習課程與書籍往往會因為篇幅限制而省略掉很多知識講解，大多內容只是一概而論，并沒有深入探討，而本書以網路博客為載體，就不會有這方面問題的限制，因此本文旨在使用 簡明清晰、通俗易懂 的語言幫助大家構建起 全面 的深度學習 完整 知識框架，輕松學懂學會深度學習，本書中對于深度學習的各個研究方向進行了詳細講解，同時各種知識拓展組成了每章的萬字長文綜述，也使得本文可以作為一本資料書進行使用，書中代碼均使用 TensorFlow2.0 以及 Pytorch 雙料實作，實用性強，

本書暫時共有 18 章，分為四個部分，后期將會慢慢繼續拓展，敬請期待，

第一部分 第 1 章 ~ 第 3 章 為深度學習基礎認知

第 1 章 深度學習綜述 學習一個新的領域最好的入門方法就是閱讀一篇綜述，本章通過對深度學習幾十年來的發展進行簡要綜述，幫助大家快速對深度學習這一領域建立起一個基礎的認知，搭建起大致的知識體系框架，本章綜述中講到的大多數深度學習的研究方向內容在本書中相應章節均有詳細講解，幫助大家扎實深度學習基礎，

第 2 章 回歸問題與神經元模型 回歸問題是機器學習中較早就開始應用的學習模型，多用來預測一個具體的數值，在深度學習中，可以使用大量方法予以解決，作為深度學習入門要解決的第一個問題，本章引入對于深度學習非常重要的神經元模型，并利用神經元模型解決回歸問題，最后探討了非線性模型，并直觀地展示了激活函式的作用，

第 3 章 分類問題 回歸問題是對真實值的一種逼近預測，而分類問題則是為事物打上標簽，得到一個離散的值，回歸模型與分類模型在本質上是相同的：分類模型可將回歸模型的輸出離散化，回歸模型也可將分類模型的輸出連續化，本章通過實戰引入了分類問題，詳細講解了邏輯回歸、 softmax 回歸以及資訊論基礎的相關內容，并探討了邏輯回歸與 softmax 回歸的關系，

第二部分 第 4 章 ~ 第 5 章 為深度學習框架講解

第 4 章 TensorFlow2.0從入門到升天 TensorFlow 是谷歌開源的一款深度學習框架，首發于 2015 年，采用靜態圖的TensorFlow1.x 盡管在性能方面較為強勁，但是由于實作以及除錯方面的困難一直令人詬病，2019 年谷歌發布了TensorFlow2.0，采用動態圖優先模式運行，避免 TensorFlow 1.x 版本的諸多缺陷，獲得了業界的廣泛認可，在工業界的部署應用最為廣泛，本章從零開始講解TensorFlow的使用、API、部署等全方位的知識，從零基礎開始入門 TensorFlow2.0 直至升天，

第 5 章 PyTorch 從入門到升天 PyTorch 是 Facebook (Meta) 于 2017 年發布的一款深度學習框架，憑借其簡潔優雅的設計、統一易用的介面、追風逐電的速度和變化無方的靈活性受到業界的一致好評，經過數年的發展，在學術界中逐漸占據主導地位，本章將詳細講解 PyTorch 框架的基礎知識和使用方法，從零基礎開始入門 Pytorch 直至升天，

第三部分 第 6 章 ~ 第 7 章 為深度學習基礎

第 6 章 神經網路與反向傳播演算法 神經網路（Neural Network，NN），在機器學習和認知科學領域，是一種模仿生物神經網路的結構和功能的數學模型或計算模型，用于對函式進行估計或近似，近年來人們應用深層神經網路技術在計算機視覺、自然語言處理、機器人等領域取得了重大突破，部分任務上甚至超越了人類智能水平，引領了以深層神經網路為代表的第三次人工智能復興，而深層神經網路也有另一個名字：深度學習，反向傳播演算法（Backpropagation，BP），是一種與最優化方法結合使用的，用來訓練人工神經網路的常見方法，本章從感知機模型出發，引入神經網路模型，并介紹了十數種常用激活函式，通過數次實戰扎實基礎，最后詳細地全流程推導了反向傳播演算法，

第 7 章 過擬合、優化演算法與引數優化 在深度學習實戰訓練中，我們往往會遇到各種問題，本章對這些問題進行總結，并給出一些訓練常用技巧，引入過擬合概念并詳細介紹了如何避免，通過前面的學習，我們知道深度學習訓練中最常用的反向傳播演算法是一種與最優化方法相結合的演算法，因此本章介紹了一些常用的優化演算法，最后對引數優化進行了一些探討，

第四部分 第 8 章 ~ 第 17 章 為深度學習研究方向綜述

第 8 章 卷積神經網路 (CNN) 從入門到升天 卷積神經網路（Convolutional Neural Network, CNN），一種前饋神經網路，由若干卷積層和池化層組成，尤其在影像處理方面表現十分出色，卷積神經網路作為一種非常重要的主流深度學習模型，需要大家理解掌握，本章詳細講解了卷積神經網路的原理、實作、變種以及各種應用，從零基礎開始入門卷積神經網路直至升天，

第 9 章 回圈神經網路 (RNN) 從入門到升天 回圈神經網路（Recurrent Neural Network, RNN），一類以序列資料為輸入，在序列的演進方向進行遞回且所有節點按鏈式連接的遞回神經網路，其特有的回圈概念及其最重要的結構 “長短時記憶網路” 使得它在處理和預測序列資料的問題上有著良好的表現，回圈神經網路作為一種非常重要的主流深度學習模型，需要大家理解掌握，本章詳細講解了回圈神經網路的原理、實作、變種以及各種應用，從零基礎開始入門回圈神經網路直至升天，

第 10 章 注意力機制與Transformer 注意力機制（Attention Mechanism），人們在機器學習模型中嵌入的一種特殊結構，用來自動學習和計算輸入資料對輸出資料的貢獻大小，Transformer 是一種采用 self-attention 的深度學習模型，對輸入資料的每個部分的重要性進行差分加權，在自然語言處理和計算機視覺領域有著非常廣泛的應用，Attention Is All You Need！本章對注意力機制與 Transformer 的原理、實作、常用變種與應用進行了清晰易懂的綜述詳解，適合零基礎入門研究學習，

第 11 章 圖神經網路（萬字綜述） 圖神經網路（Graph Neural Networks，GNN），一種基于圖結構的深度學習方法，從其定義中可以看出圖神經網路主要由兩部分組成，即圖論中的圖資料結構與深度學習中的神經網路（正巧我大學在 ACM 競賽中就專門研究圖論 x ），GNN 在處理非結構化資料時的出色能力使其在網路資料分析、推薦系統、物理建模、自然語言處理和圖上的組合優化問題方面都取得了新的突破，成為各大深度學習頂會的研究熱點，本章從圖這一資料結構開始講解，對圖神經網路的原理、實作、常用變種與應用進行了清晰易懂的綜述詳解，適合零基礎入門研究學習，

第 12 章 自編碼器（萬字綜述） 自編碼器（autoencoder, AE），一類在半監督學習和非監督學習中使用的人工神經網路，其功能是通過將輸入資訊作為學習目標，對輸入資訊進行表征學習，自編碼器具有一般意義上表征學習演算法的功能，被應用于降維和例外值檢測，包含卷積層構筑的自編碼器可被應用于計算機視覺問題，包括影像降噪 、神經風格遷移等，本章對自編碼器的原理、實作、常用變種與應用進行了清晰易懂的綜述詳解，適合零基礎入門研究學習，

第 13 章 生成對抗網路（萬字綜述） 生成對抗網路（Generative Adversarial Network，GAN），一種非監督式學習的方法，通過讓兩個神經網路相互博弈的方式進行學習，是近年來復雜分布上無監督學習最具前景的方法之一，GAN 在影像生成，如超解析度任務，語意分割等方面有著非常出色的表現，本章從動漫頭像生成實戰入手，對生成對抗網路的訓練公式以及納什均衡進行了詳細的推導證明，分析了GAN的訓練難題，并給出了相應的解決辦法，然后對 WGAN 的原理和實作進行了詳細講解，最后探討了 GAN 的應用，適合零基礎入門研究學習，

第 14 章 強化學習（萬字綜述） 強化學習（Reinforcement learning，RL），機器學習中的一個領域，強調如何基于環境而行動，以取得最大化的預期利益，強化學習是除了監督學習和非監督學習之外的第三種基本的機器學習方法，深度強化學習（Deep Reinforcement Learning，DRL）是深度學習與強化學習相結合的產物，它集成了深度學習在視覺等感知問題上強大的理解能力，以及強化學習的決策能力，實作了端到端學習，深度強化學習的出現使得強化學習技術真正走向實用，得以解決現實場景中的復雜問題，本章對強化學習的原理、實作、常用變種與應用進行了清晰易懂的綜述，適合零基礎入門研究學習，

第 15 章 元學習（萬字綜述） 元學習（Meta Learing），一種全新的機器學習方法，嘗試學習如何學習，元學習的誕生可以追溯到上世紀八十年代，隨著深度學習逐漸火熱，元學習也回到了大眾的視野當中，元學習與強化學習的結合更是借著深度學習的大潮，在各個領域擴展到了極致（例如人臉識別領域等，均可用元學習來加以強化 cross domain 的性能），本章綜述首先給出元學習相關的術語，并嘗試對元學習進行一個定義，給出了一個簡單示例去幫助理解元學習這一概念，按照實作方法將元學習分為了三種，并對每種方法的經典演算法進行了詳細的剖析，最后探討了元學習的一些應用以及未來展望，

第 16 章 對抗攻擊與防御（萬字綜述） 對抗攻擊（Adversarial Attack），對目標機器學習模型的原輸入施加輕微擾動以生成對抗樣本（Adversarial Example）來欺騙目標模型的程序，在深度學習演算法驅動的資料計算時代，確保演算法的安全性和健壯性至關重要，研究者發現深度學習演算法無法有效地處理對抗樣本，這些偽造的樣本對人類的判斷沒有太大影響，但會使深度學習模型輸出意想不到的結果，自 2013 年發現這一現象以來，它引起了人工智能多個子領域研究人員的極大關注，也是我目前研究的方向，本章綜述首先講解對抗攻擊的概念以及如何簡單地實作對抗攻擊，然后給出對抗攻擊相關的術語及其定義，對第一代最簡單的對抗攻擊的原理及實作進行詳細介紹，然后分類探討不同的對抗攻擊，接著對對抗攻擊的防御進行講解，最后嘗試對對抗攻擊的理論原理以及機器學習的可解釋性進行簡單討論，

第 17 章 遷移學習 遷移學習（Transfer Learning），一種機器學習方法，把一個領域（即源領域）的知識，遷移到另外一個領域（即目標領域），使得目標領域能夠取得更好的學習效果，在許多機器學習和資料挖掘演算法中，一個重要的假設就是目前的訓練資料和將來的訓練資料，一定要在相同的特征空間并且具有相同的分布，然而，在許多現實的應用案例中，這個假設可能不會成立，比如，我們有時候在某個感興趣的領域有分類任務，但是我們只有另一個感興趣領域的足夠訓練資料，并且后者的資料可能處于與之前領域不同的特征空間或者遵循不同的資料分布，這類情況下，如果知識的遷移做的成功，我們將會通過避免花費大量昂貴的標記樣本資料的代價，使得學習性能取得顯著的提升，近年來，為了解決這類問題，遷移學習作為一個新的學習框架出現在人們面前，本章對遷移學習的原理、實作、常用變種與應用進行了清晰易懂的綜述詳解，適合零基礎入門研究學習，

??深度學習作為國家人工智能戰略發展的重要一環，是一個非常前沿且廣袤的研究領域，而自古以來，我國知識分子素有 “為天地立心，為生民立命，為往圣繼絕學，為萬世開太平” 的志向和傳統，作為新一代青年，自當立時代之潮頭，筆者希望通過這份學習筆記，分享和傳播更多的知識，如能幫助各位讀者搭建深度學習知識體系，在自己的研究領域發光發熱，那便是筆者最大的榮幸，

繁凡

2021 年 12 月 20 日

fanfansann.blog.csdn.net

zhihu.com/people/fanfansann

請注意：這里僅是《繁凡的深度學習筆記》的前言、目錄大綱，文章的正文還未正式發布，如果對本文感興趣想讓我更新的話，可以給在點贊后移步評論區文明催更，我將視情況 （看心情 ） 進行更新 o(〃＾▽＾〃)o 同時也請給本文的 Github專案 點一個 ? Star \boxed{?\ \text{Star}} ? Star? ，這樣我才有更新下去的動力！更新將以每章一篇文章為單位進行發布，屆時將會把文章鏈接更新至本文目錄中，點擊目錄對應章節標題即可進行跳轉，所以也請給我一個關注，防止錯過更新 ^q^

謝謝！！！

目錄

第 1 章 深度學習綜述（萬字綜述）
???1.1 人工智能
?????1.1.1 機器學習
?????1.1.2 神經網路與深度學習
??? 1.2 神經網路發展簡史
????? 1.2.1 淺層神經網路
????? 1.2.2 深度學習
??? 1.3 深度學習特點
??? 1.4 深度學習最新進展
??? 1.5 深度學習方法
??? 1.6 深度神經網路
??? 1.7 深度生成模型
??? 1.8 訓練與優化技術
??? 1.9 深度學習框架
????? 1.9.1 主流框架
????? 1.9.2 TensorFlow
????? 1.9.3 Pytorch
??? 1.10 深度學習應用
??? 1.11 參考資料
第 2 章 回歸問題與神經元模型
??? 2.1 線性回歸
????? 2.1.1 線性模型
??? 2.2 神經元模型
????? 2.2.1 神經元
????? 2.2.2 優化方法
???????? 2.2.2.1 梯度下降演算法
???????? 2.2.2.2 最小二乘法
????? 2.2.3 神經元線性模型實戰
??? 2.3 再探回歸
????? 2.3.1 非線性模型
??? 2.4 面試題目集錦
??? 2.5 參考資料
第 3 章 分類問題 （邏輯回歸、Softmax 回歸、資訊論基礎）
??? 3.1 手寫數字分類問題
????? 3.1.1 手寫數字圖片資料集
????? 3.1.2 構建模型
????? 3.1.3 誤差計算
????? 3.1.4 非線性模型
????? 3.1.4 手寫數字圖片識別實戰
??? 3.2 邏輯回歸（Logistic Regression, LR）
????? 3.1.1 決策邊界
????? 3.2.2 邏輯回歸模型
????? 3.2.3 代價函式
????? 3.2.4 優化方法
??? 3.3 資訊論基礎
????? 3.3.1 資訊論
????? 3.3.2 香農熵
????? 3.3.3 相對熵（KL 散度）
????? 3.3.4 交叉熵
????? 3.3.5 JS 散度
????? 3.3.6 Wasserstein 距離
????? 3.3.7 結構化概率模型
??? 3.4 Softmax 回歸
????? 3.4.1 Softmax 回歸模型
????? 3.4.2 優化方法
????? 3.4.3 權重衰減
????? 3.4.4 Fashion-MNIST 資料集圖片分類實戰
??? 3.5 Softmax 回歸與邏輯回歸的關系
????? 3.5.1 Softmax 回歸與邏輯回歸的關系
????? 3.5.2 多分類問題的 Softmax 回歸與 k 個二元分類器
??? 3.6 面試問題集錦
??? 3.7 參考資料
第 4 章 TensorFlow2.0 從入門到升天
??? 4.1 張量
????? 4.1.1 資料型別
????? 4.1.2 待優化張量
????? 4.1.3 GPU 加速
????? 4.1.4 數值精度
????? 4.1.5 創建張量
????? 4.1.6 張量的典型應用
??? 4.2 資料操作
????? 4.2.1 索引與切片
????? 4.2.2 維度變換
????? 4.2.3 合并與分割
????? 4.2.4 張量比較
????? 4.2.5 填充與復制
????? 4.2.6 資料限幅
??? 4.3 數學運算與資料統計
??? 4.4 TensorFlow 基礎 API
??? 4.5 Tensorflow keras
??? 4.6 Tensorflow Dataset
??? 4.7 Tensorflow Estimator 與 TensorFlow 1.0
??? 4.8 Tensorflow分布式
??? 4.9 Tensorflow模型保存與部署
??? 4.10 參考資料
第 5 章 PyTorch 從入門到升天
??? 5.1 張量
??? 5.2 資料操作
??? 5.3 數學運算與資料統計
??? 5.4 PyTorch 基礎 API
??? 5.5 DataLoader 與 Dataset
??? 5.6 PyTorch 常用工具模塊
??? 5.7 PyTorch 資料并行處理
??? 5.8 參考資料
第 6 章 神經網路與反向傳播演算法
??? 6.1 感知機模型與全連接層
????? 6.1.1 感知機模型
????? 6.1.2 全連接層
???????? 6.2.2.1 TensorFlow2.0 實作
???????? 6.2.2.2 PyTorch 實作
??? 6.3 神經網路
????? 6.3.1 TensorFlow2.0 實作
????? 6.2.2 PyTorch 實作
????? 6.3.3 優化目標
??? 6.4 激活函式
????? 6.4.1 常見激活函式
???????? 6.4.1.1 Sigmoid 函式
???????? 6.4.1.2 ReLU 函式
???????? 6.4.1.3 ReLU 函式變種（LeakyReLU，RReLU，PReLU，ELU，GELU）
???????? 6.4.1.4 Tanh 函式
???????? 6.4.1.5 Swish 函式
???????? 6.4.1.6 Maxout 函式
????? 6.4.2 梯度消失與梯度爆炸
????? 6.4.3 如何選擇激活函式
????? 6.4.4 激活函式表 [6]
??? 6.4 輸出層設計
??? 6.5 油耗預測實戰
??? 6.6 Kaggle 比賽實戰：預測房價
??? 6.7 神經網路中的梯度計算
????? 6.7.1 損失函式的梯度
????? 6.7.2 全連接層的梯度
????? 6.7.3 鏈式法則
??? 6.8 前向傳播與反向傳播
????? 6.8.1 前向傳播演算法
????? 6.8.2 反向傳播演算法
??? 6.9 Himmelblau 函式優化實戰
????? 6.9.1 TensorFlow2.0 實作
????? 6.9.2 PyTorch 實作
??? 6.10 反向傳播演算法實戰
??? 6.11 參考資料
第 7 章 過擬合、優化演算法與引數優化
??? 7.1 模型的容量
??? 7.2 過擬合與欠擬合
????? 7.2.1 欠擬合
????? 7.2.2 過擬合
??? 7.3 資料集劃分與模型設計
????? 7.3.1 驗證集與超引數
????? 7.3.2 提前終止
????? 7.3.3 模型設計
??? 7.4 正則化
????? 7.4.1 范數
????? 7.4.2 正則化
????? 7.4.3 正則化效果
??? 7.5 Dropout
??? 7.6 資料增強
????? 7.6.1 有監督的資料增強
???????? 7.6.1.1 幾何變換方法
???????? 7.6.1.2 顏色變換方法
????? 7.6.2 無監督的資料增強
???????? 7.6.2.1 GAN
???????? 7.6.2.2 自動資料增強 Autoaugmentation
????? 7.6.3 多樣本資料增強方法
??? 7.7 過擬合問題實戰
????? 7.7.1 構建資料集
????? 7.7.2 網路層數的影響
????? 7.7.3 Dropout 的影響
????? 7.7.4 正則化的影響
??? 7.8 常用訓練技巧
??? 7.9 優化演算法
??? 7.10 神經網路初始化
????? 7.10.1 零值初始化
????? 7.10.2 隨機初始化
????? 7.10.3 Xavier 初始化
????? 7.10.4 He 初始化
??? 7.11 批歸一化
????? 7.11.1 Internal Covariate Shift
????? 7.11.2 Batch Normalization
??? 7.12 層歸一化
??? 7.13 面試題目集錦
第 8 章 卷積神經網路 (CNN) 從入門到升天（萬字綜述，清晰易懂）
??? 第 8 章 待更
第 9 章 回圈神經網路 (RNN) 從入門到升天（萬字綜述，清晰易懂）
??? 第 9 章 待更
第 10 章 注意力機制與Transformer
??? 第 10 章 待更
第 11 章 圖神經網路（萬字綜述）清晰易懂
??? 第 11 章 待更
第 12 章 自編碼器（萬字綜述）清晰易懂
??? 第 12 章 待更
第 13 章 生成對抗網路（萬字綜述）清晰易懂
??? 13.1 GAN的通俗理解
????? 13.1.1 生成對抗網路
????? 13.1.2 GAN的訓練步驟
??? 13.2 DCGAN實戰
????? 13.2.1 DCGAN
????? 13.2.2 DCGAN動漫圖片生成實戰
??? 13.3 GAN的原理探究
????? 13.3.1 最大似然估計
????? 13.3.2 GAN訓練公式推導
????? 13.3.3 GAN的可視化理解
??? 13.4 GAN 變種
????? 13.4.1 DCGAN
????? 13.4.2 InfoGAN
????? 13.4.3 CycleGAN
????? 13.4.4 WGAN
????? 13.4.5 Equal GAN
????? 13.4.6 Self-Attention GAN
????? 13.4.7 BigGAN
??? 13.5 納什均衡
????? 13.5.1 納什均衡
????? 13.5.2 GAN 的納什均衡
??? 13.6 GAN 訓練難題
????? 13.6.1 超引數敏感
????? 13.6.2 模式崩塌
????? 13.6.3 梯度消失問題
????? 13.6.4 采樣計算距離問題
????? 13.6.5 minmax 問題
????? 13.6.6 引數空間與函式空間問題
??? 13.7 WGAN 原理
????? 13.7.1 JS 散度的缺陷
????? 13.7.2 EM 距離
????? 13.7.3 WGAN-GP
??? 13.8 WGAN-GP 實戰
??? 13.9 GAN 的應用
????? 13.9.1 影像
????? 13.9.2 序列生成
????? 13.9.3 半監督學習
????? 13.9.4 域適應
????? 13.9.5 其他領域的應用
??? 13.10 參考資料
第 14 章 強化學習（萬字綜述）清晰易懂
??? 第 14 章 待更
第 15 章 元學習（萬字綜述）清晰易懂
??? 15.1 元學習 （Meta Learing）：Learning To Learn
??? 15.2 元學習名詞解釋
??? 15.3 元學習問題定義
????? 15.3.1 元學習形式化
????? 15.3.2 簡單示例
????? 15.3.2 學習器和元學習器
????? 15.3.4 Meta Learning 的分類
??? 15.4 基于優化的方法
????? 15.4.1 MAML
???????? 15.4.2.1 實戰 擬合 y=asin(x+b)
???????? 15.4.2.2 First-Order MAML
????? 15.4.2 Reptile
???????? 15.4.2.1 The Optimization Assumption
???????? 15.4.2.2 Reptile vs FOMAML
????? 15.4.3 LSTM Meta-Learner
??? 15.5 基于度量的方法
????? 15.5.1 Convolutional Siamese Neural Network
????? 15.5.2 Matching Networks
???????? 15.5.2.1 Simple Embedding
???????? 15.5.2.2 Full Context Embeddings
????? 15.5.3 Relation Network
????? 15.5.4 Prototypical Networks
??? 15.6 基于模型的方法
????? 15.6.1 Memory-Augmented Neural Networks
???????? 15.6.1.1 MANN for Meta-Learning
???????? 15.6.1.2 Addressing Mechanism for Meta-Learning
????? 15.6.2 Meta Networks
???????? 15.6.2.1 Fast Weights
???????? 15.6.2.2 Model Components
???????? 15.6.2.3 訓練程序
??? 15.7 元學習應用
????? 15.7.1 計算機視覺和圖形
????? 15.7.2 元強化學習和機器人技術
????? 15.7.3 環境學習與模擬現實
????? 15.7.4 神經架構搜索（NAS）
????? 15.7.5 貝葉斯元學習
????? 15.7.6 無監督元學習和元學習無監督學習
????? 15.7.7 主動學習
????? 15.7.8 持續、在線和適應性學習
????? 15.7.9 領域適應和領域概括
????? 15.7.10 超引數優化
????? 15.7.11 新穎且生物學上可信的學習者
????? 15.7.12 語言和言語
????? 15.7.13 元學習促進社會福利
????? 15.7.14 抽象和合成推理
????? 15.7.15 系統
??? 15.8 未來展望
??? 15.9 參考資料
第 16 章 對抗攻擊與防御（萬字綜述）清晰易懂
??? 第 16 章 待更
第 17 章 遷移學習
??? 第 17 章 待更

請注意：這里僅是《繁凡的深度學習筆記》的目錄大綱，文章的正文還未正式發布，如果對本文感興趣想讓我更新的話，可以給在點贊后移步評論區文明催更，我將視情況 （看心情 ） 進行更新 o(〃＾▽＾〃)o 同時也請給本文的 Github專案 點一個 ? Star \boxed{? \ \text{Star}} ? Star? ，這樣我才有更新下去的動力！更新將以每章一篇文章為單位發布，屆時將在將文章鏈接更新至本文目錄中，點擊目錄對應章節標題即可進行跳轉，所以也請給我一個關注，防止錯過更新 ^q^

謝謝！

??