【任務一】視頻學習心得及問題總結
根據下面三個視頻的學習內容，寫一個總結，最后列出沒有學明白的問題，
【任務二】代碼練習
在谷歌 Colab 上完成代碼練習，關鍵步驟截圖，并附一些自己的想法和解讀，
【任務三】展望學習
結合論文自學谷歌提出的 Inception V1 至 V4， 以及 MobileNets，整理一個學習心得，
【任務四】實戰練習
AI研習社新上了一個比賽 “ 工業表面紋理缺陷檢測 ”，獎金3000元，比賽鏈接：https://god.yanxishe.com/80
比賽時間為7月24日至8月22日，來自德國海德堡大學影像處理合作專案，提交結果只要大過標準分40就有獎金，
1. 視頻學習
● 深度學習的數學基礎
（下載地址：https://www.jianguoyun.com/p/DStBQ98QrKKIBhis-K4D）
● 卷積神經網路
（下載地址：https://www.jianguoyun.com/p/DaAOf94QrKKIBhi1-K4D）
主要內容包括：
- CNN的基本結構：卷積、池化、全連接
- 典型網路結構：AlexNet、VGG、GoogleNet、ResNet
● 京東專家結合 pytorch 代碼講解 ResNet
B站鏈接：https://www.bilibili.com/video/BV1o7411f7UM
主要內容包括：殘差學習的基本原理、恒等映射和Shotcut、使用 pytorch 實作 ResNet152
所有視頻下載鏈接2020年7月30日自動過期，請抓緊時間下載，
【任務一解答】視頻學習心得及問題總結
視頻學習心得：
● 深度學習的數學基礎
一、機器學習（深度學習）中的數學基礎
二、機器學習三要素：模型、策略、演算法
1.概率/函式形式的統一
2.“最優”的策略設計
3.損失函式
三、頻率學派 & 貝葉斯學派
四、Beyond深度學習
1.因果推斷
2.群體智能
● 卷積神經網路
一、緒論
1.卷積神經網路的應用
（1）基本應用
分類、檢索、檢測、分割
（2）具體運用
人臉識別、表情識別、影像生成（Image to Image、Text to Image）、影像風格轉化、自動駕駛
2.傳統神經網路vs卷積神經網路
（1）深度學習三部曲
step1.搭建神經網路結構
step2.找到一個合適的損失函式
如：交叉熵損失（cross entropy loss），均方誤差（MSE），......
step3.找到一個合適的優化函式，更新引數
如：反向傳播（BP），隨機梯度下降（SGD），.......
（2）one-hot
真實的位置為1，其他地方都為0，
（3）損失函式
分類損失中，yi：真實類別 yip：預測類別 y：真實類別 f(x)：預測結果
回歸損失中，yi：真實位置 yip：預測位置
（4）傳統神經網路和卷積神經網路的區別
傳統神經網路中的每一層采用的都是全連接層，這樣就會造成引數太多，導致過擬合；
卷積神經網路采用卷積核達到區域關聯和引數共享的效果，中間有卷積層、激活層、池化層、全連接層等，
二、基本組成結構
1.卷積
（1）卷積涉及到的基本概念
（2）特征圖大小計算公式
(N+padding*2-F)/stride+1
(輸入圖大小+padding*2-卷積核大小)/步長+1
（3）卷積舉例
（4）卷積的可視化理解
淺層時卷積核更關注整體的資訊，深層時卷積核更關注區域某個特征的資訊，不同的卷積核關注不同的資訊，
2.池化
（1）池化的特征
a.池化相當于在做一個縮放，它在保留了主要特征的同時減少引數和計算量，防止過擬合，提高模型泛化能力；
b.它一般處于卷積層與卷積層之間，全連接層與全連接層之間，
（2）池化的型別
Max pooling：最大值池化
Average pooling：平均池化
（3）實驗中常用的池化引數
a.分類任務中常用最大值池化
b.filter大小一般設定為2*2或3*3
c.步長一般設定為2
3.全連接
a.兩層之間所有神經元都有權重連接
b.通常全連接層在卷積神經網路尾部
c.全連接層引數量通常最大
三、卷積神經網路典型結構
1.AlexNet
2.ZFNet
3.VGG
4.GoogleNet
5.ResNet
四、代碼實戰：Tensorflow-CNN
● 京東專家結合 pytorch 代碼講解 ResNet
2. 代碼練習
代碼練習需要使用谷歌的 Colab，
● MNIST 資料集分類
構建簡單的CNN對 mnist 資料集進行分類，同時，還會在實驗中學習池化與卷積操作的基本作用，
鏈接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/05_01_ConvNet.ipynb
要求： 把代碼輸入 colab，在線運行觀察效果
● CIFAR10 資料集分類
使用 CNN 對 CIFAR10 資料集進行分類
鏈接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/05_02_CNN_CIFAR10.ipynb
要求： 把代碼輸入 colab，在線運行觀察效果
● 使用 VGG16 對 CIFAR10 分類
鏈接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/05_03_VGG_CIFAR10.ipynb
要求： 把代碼輸入 colab，在線運行觀察效果
● 使用VGG模型遷移學習進行貓狗大戰
鏈接：https://github.com/OUCTheoryGroup/colab_demo/blob/master/05_04_Transfer_VGG_for_dogs_vs_cats.ipynb
要求：這部分為 Kaggle 于 2013 年舉辦的貓狗大戰競賽，使用在 ImageNet 上預訓練的 VGG 網路進行測驗，因為原網路的分類結果是1000類，所以這里進行遷移學習，對原網路進行 fine-tune （即固定前面若干層，作為特征提取器，只重新訓練最后兩層），
仔細研讀AI研習社貓狗大戰賽題的要求：https://god.yanxishe.com/41 （目前比賽已經結束，但仍可做為練習賽每天提交測驗結果）
下載比賽的測驗集（包含2000張圖片），利用fine-tune的VGG模型進行測驗，按照比賽規定的格式輸出，上傳結果評測，
【任務二解答】代碼練習
● MNIST 資料集分類
● CIFAR10 資料集分類
● 使用 VGG16 對 CIFAR10 分類
● 使用VGG模型遷移學習進行貓狗大戰
3. 展望學習
- 閱讀《大話CNN經典模型》，鏈接：https://my.oschina.net/u/876354/blog/1637819
Google團隊的 Inception網路：
1. 為了捕獲多個感受野的資訊，使用了多個尺寸卷積核來并行處理；
2. 大尺寸的卷積核可以由小的卷積核組合替換（經如1個 5x5 的卷積可以由2個 3x3 的卷積來替換）；
3. 使用了非對稱卷積，
- 閱讀谷歌2017年的論文：《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》
MobileNet：使用了深度可分離卷積，把標準卷積分解為 depth-wise 和 point-wise 卷積，具體細節可以參考知乎文章：https://zhuanlan.zhihu.com/p/80041030
- 閱讀《HybridSN: Exploring 3-D–2-D CNN Feature Hierarchy for Hyperspectral Image Classification》
HybridSN： 思考二維卷積和三維卷積的區別？
【任務三解答】展望學習
● GoogLeNet（從Inception v1到v4的演進）
● MobileNets
● HybridSN
4. 實戰練習
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/85185.html
標籤：其他