智源導讀：自2012年至今，計算機視覺領域蓬勃發展，各種模型不斷涌現，短短 8 年時間，計算機視覺領域便發生了天翻地覆的變化，那么如何看待過往變化，當下研究又如何？

12月10日晚，在【青源Talk】第 3 期上，清華大學助理教授，智源青年科學家黃高將計算機視覺中的深度神經網路結構設計從2012年至今的發展，劃分為三個階段，并分析了各個階段的特點：

-> 2012-2015，為快速發展期；

-> 2015-2017，為成熟期；

-> 2017-至今，為繁榮期，

在此之后，黃高重點講解了當下 CV 深度模型設計領域的兩大研究方向，NAS 和動態網路，特別是后者，聽其報告，我們能夠感受到黃高的作業優美、簡單且自然，

在演講之后的交流中，黃高向與會的學生們強調了一條科研經驗：研究需要韌性，

本文根據演講內容整理，供讀者參考，報告視頻及PPT下載地址：

https://hub.baai.ac.cn/view/4937

整理：賈偉、周寅張皓

校對：廖璐

黃高 · 簡介

黃高是清華大學自動化系助理教授，博士生導師，2015年獲清華大學博士學位，2015年至2018年在美國康奈爾大學計算機系從事博士后科研作業，主要研究領域為深度學習和計算機視覺，提出了主流卷積網路模型DenseNet，目前在NeurIPS，ICML，CVPR等國際頂級會議及IEEE多個匯刊共計發表學術論文50余篇，被參考18000余次，獲CVPR最佳論文獎、達摩院青橙獎、世界人工智能大會SAIL先鋒獎、中國自動化學會優秀博士學位論文、全國百篇最具影響國際學術論文、中國人工智能學會自然科學一等獎和吳文俊優秀青年獎等榮譽，入選智源青年學者計劃，

01

視覺模型的發展

在過去一些年里，計算機視覺領域涌現出許多經典的深度學習的網路架構，這說明網路的架構在深度學習（計算機視覺）中尤為重要，原因是什么？

黃高認為網路架構的重要性體現在四個方面，分別為：表達能力、優化特性、泛化性能和計算/存盤效率，

• 表達能力：不同網路結構，其表達能力顯然不同，舉例來說，線性模型，無論多深，仍然只是線性模型，其表達能力有限，

• 優化性能：ResNet出現之前，所謂的“深度網路”并不很深，當時最深的GoogleNet、Inception等也僅 20 多層，這并非當時硬體不足，主要原因是梯度反傳程序會出現梯度消失問題，ResNet以及后續的DenseNet通過結構上的改進，可以很好地改善這種問題，

• 泛化性能：從本質上來說，神經網路是一個函式，訓練網路即是擬合，網路的結構定義了函式的特性，同時也關系到它的泛化能力，

• 計算/存盤效率：當達到同樣精度時，有的模型需要很大，有的模型卻比較小；有的模型消耗計算資源很高，有的模型卻相對要小得多，

02

神經網路結構三個階段

從2012年至今，計算機視覺領域的深度學習網路模型經歷了天翻地覆的變化，如何看待這些變化？

黃高將這 8 年多的黃金時期劃分為三個階段，分別為：2012-2015，快速發展期；2015-2017，成熟期；2017-至今，繁榮期，

如下圖所示：

2012-2015的快速發展期：2012年，AlexNet在ImageNet比賽中一舉挑戰各種傳統模型，讓大家意識到深度學習在視覺任務中的潛力，從而掀起了一股研究熱潮，隨后不斷涌現的很多深度模型都是圍繞ImageNet進行設計，包括后來的VGG、GoogleNet等，這一階段發展非常快速，每種模型都是從各自的角度對優化特性、泛化能力等進行改進，

2015-2017的成熟期：這一階段的標志性事件是ResNet的提出，ResNet的跳層連接思想給大家帶來了極大的啟發，讓模型設計有了一個明確的概念指引，于是迅速出現了諸如DenseNet，ResNeXt等知名模型，這個階段，研究者逐漸認識到，模型設計并不需要過多的技巧和變化，存在一些簡單而基本的設計原則可以依據，

2017年至今的繁榮期：17年之后，深度學習在工業界的應用變得更加廣泛，于是針對不同的應用場景，便出現了不同角度的模型設計和優化，目前研究較熱的方向包括面向邊緣端的輕量級模型、網路架構搜索（NAS）、動態模型、Transformer等，

03

網路架構搜索的 What and How

自動架構搜索（Automatic Architecture Search）的本質是讓演算法自己去設計網路架構，自Google的NAS（Nerual Architechure Search）方法提出后，NAS逐漸成為備受關注的研究領域，研究者們希望能夠從模型設計開始降低人工干預程度，最終實作機器的自動學習（Auto-ML），現在有一個專門的網站（www.automl.org）匯總該方向上的相關研究，

對比以下模型，最左邊（ResNet）為手工設計模型，右邊三個（GENet、NASNet、ENASNet）為結構搜索后得到的模型，從直觀上可以看出，人工設計模型相對比較規整，而搜索得到的模型則一般比較復雜，

NAS是將模型設計轉化為搜索問題，通過在定義的模型搜索集中尋找最優的引數配置實作結構設計，因此，搜索集的定義往往是NAS任務的關鍵，

其次，在確定搜索集后，需要選擇合適的搜索演算法，當前的搜索方法主要有：強化學習方法（NASNet， Progressive NAS）、進化演算法與遺傳演算法（GeNet，AmoebaNet）、可微分方法（DARTS，Fbnet）等，

另外，模型評估為搜索的結果提供可靠的比較依據，往往評估模型達到一定精度所需的計算量，以此評價模型的優劣，方法目前也存在一些問題，例如理論計算量與實際應用時存在偏差，

因此，網路架構搜索主要有四個核心問題：

1、搜什么：定義搜索問題，

2、從哪里搜：定義搜索空間；

3、怎么搜：設計搜索演算法；

4、如何評估：說明搜索物件，

04

動態神經網路

在2017年之前的主流深度模型都屬于靜態模型，一旦訓練結束，其引數和結構便固定了下來，這種模型的缺點是，設計上一步到位，但在應用時卻無法根據具體需求而做調整，

1、Small - Easy，Big - Hard

如上圖所示，從12年至17年，模型在資料集上的準確率逐步提升，但這種提升的背后，則是計算量的巨大開銷，往往為了提高零點幾個點，模型便需要增加幾十層，這給我們導致了一個印象，認為模型越大性能越好，

但大模型相比小模型，到底好在哪里？

黃高認為：Bigger Models are needed for those noncanonial images.

如上圖所示，盡管資料集中有大量“正常”【馬】的照片，但由于資料的長尾分布特點，必然會存在一些非常規的圖片，若想將這些非常規圖片正確預測出來，神經網路在特征提取上就需要有更豐富、更高級的特征，但這里存在的問題是，大多數圖片可能僅需少量層的網路便可以正確識別出來；但為了處理極少數非常規的圖片，卻需要耗費大量的算力，

所以，我們為什么要用相同的代價來處理所有的圖片呢？

換句話說，我們是否可以用小且便宜的模型來處理容易識別的圖片，用大且昂貴的模型處理難識別的圖片呢？

按照這種初始的想法，存在一個問題，即在現實中沒有一個“上帝”告訴模型，哪張圖是容易的，哪張圖是難的，

黃高等人提出一種多尺度的DenseNet模型，如下圖所示，模型中包含許多分類器在中間提取特征并做分類，然后在每個出口做一次判斷，預測值大于閾值，那么就輸出判斷；而如果小于閾值，便送入下一層分類器繼續計算，直到預測值大于相應閾值，

這種模型，相比于DenseNet，同樣的性能可以做到2~5倍的提速，

可視化結果：

這個作業中一個亮點在于，閾值是可以設定的，這種特點非常適用于邊緣設備，閾值越低，精度相應也就相對降低，但模型運算速度卻能夠變得更快；反之，閾值越高，精度越高，速度則變慢，對于邊緣設備，傳統的靜態模型在訓練好后，精度是固定的，計算時間是固定的，耗電量也是固定的，作為對比，動態模型的好處在于，當設備電量較低時，可以將閾值調低，從而以犧牲一點精度的代價去換取更長的電池續航時間，從而在精度和電量之間做一個自適應平衡，

在黃高等人近期的一項最新作業中，他們將這種思想做了進一步的拓展——解析度自適應，簡單來說，在不同的圖片中，有的識別物體占比較大，而有的則較小，（如上圖兩張貓頭鷹的圖片）那么如果識別物體占比較大，用解析度低一些的圖片就足以完成識別任務；如果識別物體占比較小，可以選擇更高清一些的圖片，

具體如下圖所示，先用低解析度圖片進行計算，如果置信度高于閾值，則輸出結果；如果低于閾值，則使用更高解析度的圖片、更深的網路進行計算，直至置信度大于閾值，

2、更進一步：空間自適應

前面提到的自適應主要是樣本級別的自適應，針對與影像資料還可以考慮空間維度的自適應，

如下圖所示，人的視徑訓關注不同的空間區域，比如街道，車輛，行人；但是對于另外的窗臺，花紋，則會選擇性忽略，這說明人在看一張圖片時，并不會在所有的像素上投入同樣多的精力，但現有網路的卷積操作，并不能適應圖片的空間資訊，而是簡單地對圖片的不同區域做同樣的處理，

黃高針對這一問題，提出了 Sampling and Interpolation 的方法，正如其名，該方法先進行稀疏采樣和計算，然后通過插值的方式進行稠密重建，如下圖所示：

具體方法則是：對于輸入 X，并不直接進行卷積計算獲取其特征，而是先進行稀疏采樣，將采樣結果進行稀疏卷積，從而獲得一個稀疏的特征圖；根據稀疏特征圖進行插值后獲得重建特征圖，

這里關鍵的一點在于，采樣的模型并非隨機采樣，其引數是可學的，依賴于資料，因此對于不同物體，生成的mask則不同，mask事實上告訴了模型哪些區域應該重點關注，從而指導SparseConv去計算；SparseConv并不會提取所有像素的特征，

黃高等人的另一項關于空間自適應的作業，發表在NeurIPS 2020 上，他們注意到，人在做視覺識別時，是一個漸進、迭代的程序，例如看一張圖，我們初步瞥一眼，知道它是一只鳥；然后我們會更加關注它的頭部、身體、尾部等，從而獲取更多的特征，

依據這種思想，黃高等人提出了GFNet（Glance and Focus Network），基本思想如下圖所示，通過降低影像解析度來模擬最初的glance，如果模型預測置信度不夠，則通過使用區域的影像模擬人仔細觀察獲得資訊，豐富模型觀察到的細節，

具體模型框架如下：

值得強調的是，模型中所采用的都是通用框架，因此從理論上說，可以在方法中兼容任何已有的深度網路（手工設計的或搜索出來的），

實驗結果如下：

05

研究需要韌性

報告之后，黃高與現場的學生進行了線下問答交流，

在交流中，黃高多次強調這樣一個觀點：“研究需要韌性，”

他提到：當初在有DenseNet想法時，并不被周圍的人看好；但他和合作者一直堅持把結果做了出來，最終證明了這項作業的價值，

黃高作業中的韌性自很早的時候就有所展現，2009年前后，在AI領域，深度學習的工具并未如此普及，優化方法、梯度回傳這些在現在看來簡單到僅僅需要一行代碼的操作，在那時黃高的作業中，都需要一次次手動實作，因此，那時候的研究者都在想著如何節省算力縮減模型連接，以減少作業量，但當時黃高便已有另外的思考：如果每層的資訊都能逐層向前傳，那模型的資訊通道將更加通暢，那么雖然每層連接變多，傳遞底層資訊到高層所需的模型層數就可以大大減少，這一想法，也啟發了他后來對 DenseNet的設計，

黃高說，當初在DenseNet獲得最佳論文的推特下，很多人驚訝于模型想法的簡潔優美，但同時，也有許多研究者表示惋惜，因為或多或少曾經也有過這樣的思考，但由于缺乏動力，或者是遇到挫折，沒能堅持推進研究，

在交流的最后，主持人劉知遠副教授問到：“如果給在場的學生一句take away message，你會說什么？”

黃高思考良久，仍然堅定地說：“研究是需要韌性的，我相信在場的大家都十分優秀，但做研究，遇到挫折是常態，一個好的想法中途會有太多因素讓它夭折，但最終需要的是一股韌勁才能堅持下來，將想法化為現實，”

參考論文

[1] Huang, Gao, et al. "Densely connected convolutional networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

[2] Wang, Yulin, et al. "Glance and Focus: a Dynamic Approach to Reducing Spatial Redundancy in Image Classification." Advances in Neural Information Processing Systems 33 (2020).

[3] Huang, Gao, et al. "Multi-scale dense networks for resource efficient image classification." arXiv preprint arXiv:1703.09844 (2017).

[4]Xie, Zhenda, et al. "Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation." arXiv preprint arXiv:2003.08866 (2020).

點擊左下角“閱讀原文”，下載PPT！