作者：夢佳

1993年的你在哪里？

1993年的楊立昆已經做出了第一個卷積網路，

最近，Reddit上一段來自1993年的 1分鐘視頻火爆網路，視頻中，剛過而立之年的Yann LeCun向大家展示了當時世界上第一個可以快速準確識別手寫數字的卷積網路，LeNet，

識別的第一串字符據說是LeCun當時在貝爾實驗室的電話號碼，

?

雖然畫質高糊，也沒有背景音，但我們可以清楚地看到，當時的識別準確率已經相當高，也可以識別一定程度的變體，

LeNet就是最早的卷積網路之一，

那個年代，沒有GPU，甚至沒有像樣的CPU，利用幾臺古董機，做出這么好的成績，LeCun真無愧于卷積神經網路之父的名頭，

01

領銜反向傳播演算法，LeNet 曾讀取全美10%支票

據LeCun自己的介紹，LeNet 于1988年至1993年，誕生自新澤西州霍姆德爾（Holmdel）貝爾實驗室的自適應系統研究部門，大名鼎鼎的貝爾實驗室曾經被譽為這個星球上最偉大的實驗室之一，晶體管、電子數字計算機、C語言、UNIX作業系統等重大發明均誕生于此，在加入Facebook之前，LeCun有20年的時光都是在貝爾實驗室度過，

早在20世紀80年代中期，LeCun已經展示出非凡的天賦，1986年，在題為“Learning Internal Representations by Error propagation” 的文章中，便提出了反向傳播演算法（BP演算法），如今這種演算法已經成為人工神經網路的標配，

英雄所見略同，LeCun在博士就讀期間也獨立發明了反向傳播演算法的一種早期版本，隨后他從法國巴黎遠赴多倫多，加入了Hinton的團隊，大師們漂洋過海的相聚促成了反向傳播演算法的加速發展，

在那個年代，深度神經網路還是個十分冷門的學科，正如一位讀者評論所說，“楊立昆開始做深度神經網路的時候，大部分人還根本不知深度學習為何物，”

優異的成果往往需要天時地利人和，在貝爾實驗室，不到30歲的LeCun接觸到了大量資料集和運行飛快的電腦，

正是在貝爾實驗室，LeCun 將 BP 演算法應用于卷積神經網路中，并將其實用化，推廣到各種影像相關任務中，

他創造的網路可以讀取信件上的手寫郵政編碼，采用修訂的美國國家標準與技術研究院（MNIST）資料庫作為一種標記資料基準，這項技術當時最主要的應用有自動讀取郵件資訊，以及識別ATM機上銀行支票的金額，有趣的是，最難的部分其實是查找支票上數字的位置，因為每張支票都有不同的格式，

他協助開發的銀行支票識別系統讀取了20世紀90年代末至21世紀初全美國超過10％的支票，

1998年，在此基礎上，LeCun 在論文《Gradient-Based Learning Applied to Document Recognition》中提出了最終的神經網路結構 LeNet-5，將BP演算法應用到這個神經網路結構的訓練上，形成了當代卷積神經網路的雛形，

LeNet-5可以用于手寫機印識別，甚至可以識別一些極端的變體，對于字符的扭曲和和簡單的幾何變換具有魯棒性，

02

從冰點期重生，三十年后卷土重來

驀然回首，三十載已過，曾經三十歲的青年，如今也已經邁過六十的大關，步入耳順之年，

80年代初，LeCun剛剛進入機器學習領域的時候，神經網路思想火了一陣，只是好景不長，demo中演示的片段雖然是星星之火但因為遇到了“AI寒冬”而沒有成燎原之勢，更復雜多樣的機器識別需要更高的運算量，顯然已經超出了當時硬體設備的負荷，

原本蒸蒸日上的計劃卻因為公司內部斗爭被迫叫停，LeCun也一度陷入消沉，LeCun 曾經在采訪中回憶往事，“就在黎明來臨之際，整個專案卻被解散得差不多了”，

關于漫長的深度學習冰點期，依圖科技CEO朱瓏曾經撰文寫道：

人工智能領域，神經網路思想在80年代末開始衰落，之后分別經歷了幾個劃時代的圖靈獎級作業的興起，統計學習理論（帶來支持向量機 SVM 演算法），可學習理論(帶來 Boosting 演算法)，概率推斷（圖模型，graphical model）幾乎壟斷了過去的三十年，在2012年的 Geoff Hinton 團隊的深度學習打敗Google的標志性事件前，圖模型的思想橫掃計算機視覺領域（超越了boosting，SVM等），這使得深度學習生存艱難，沒有多少同行在研究中使用深度學習，更多年輕學生愿意去“時髦”的機器學習研究組，

具有轉折意義的是2003年，那一年，LeCun成為紐約大學教師，并與三巨頭的另外兩位Hinton 和 Bengio結成非正式的聯盟，一個名為Neural Computation and Adaptive Perception（NCAP，神經計算和自適應感知）的專案，共同主導了神經網路的“復興”，

大眾狂歡的前夜是小眾的“陰謀”，

三人小組組建后不久，Hinton 便將「神經網路」更名為「深度學習」（Deep Learning），2006 年，Hinton發表了兩篇代表性的論文：

• A fast learning algorithm for deep belief nets；

• Reducing the dimensionality of data with neural networks，

當中提出了深度信念網路（Deep Belief Nets），與傳統的訓練方式不同，“深度信念網路”有一個“預訓練”（pre-training）的程序，這可以方便地讓神經網路中的權值找到一個接近最優解的值，之后再使用“微調”（fine-tuning）技術來對整個網路進行優化訓練，這種分階段兩部訓練技術的運用大幅度減少了訓練多層神經網路的時間，深度信念網路正是深度學習爆發前夕重要的研究成果之一，

而令人驚訝的是，6年后的2012年，Yann LeCun的文章依然在頂會CVPR上發表困難，甚至慘遭拒稿，審稿人表示他的論文結果存疑，同年，LeCun 和 Bengio 共同創辦了 ICLR（International Conference on Learning Representations，國際學習表征會議），希望為「深度學習」提供一個專業化的交流平臺，

后來的故事我們都很熟悉，深度學習一度迎來了黃金時代，從學界到工業界呈現爆發式的增長，GPU帶來的強大計算能力讓深度學習系統有能力完成幾年前計算機不可能完成的作業，“從沒人做這個方向到所有人都做這個方向，只花了不到一年的時間，”

如今，LeCun已經年過六十，Hinton也已經年過七旬，為了這個深度的“信念”，竟然堅守了三十年，

當然，一直以來有關深度學習過譽的聲音也不絕于耳，2015年，在周志華的《機器學習》一書的序言中，陸汝鈐院士提到“深度學習掀起的熱潮也許大過它本身真正的貢獻，在理論和技術上并沒有太多的創新，只不過是由于硬體技術的革命，計算機的速度大大提高了，使得人們有可能采用原來復雜度很高的演算法，從而得到比過去更精細的結果，”

2018年，曾有學者表示，“很多研究領域都經歷過萌芽期，發展期，泡沫，回歸正常，深度學習顯然在泡沫期，泡沫過后一地雞毛，”

深度學習如今已經過了泡沫期，但顯然并沒有“一地雞毛”，究其原因在于“It works”，

03

幾點啟示

最后，簡單說三點啟示，

第一，任何偉大的作業，都是站在巨人肩膀上做出的，

如今大家普遍認為 Yann LeCun 是“CNN之父”，但最早提出CNN思想的則是福島邦彥（當時不叫CNN，而是Neocognitron），1980年從貓的視覺系統實驗中得到的啟發提出卷積和池化的思想（這又要致敬Hubel和Wiesel），LeCun發明的 LeNet 的不同之處在于引入了BP演算法，也因此把CNN發揚光大，任何偉大的作業都不是憑空想出來的，而必然是基于前人大量作業的基礎上，添加了一個“細枝末節”，卻產生了巨大變化，

第二，人工智能的最終勝利還很遙遠，

有讀者看罷視頻評論表示，「現在所謂的AI其實還是停留在那個年代！只有應用方面成熟了，沒有突破性的進步，」對于這種聲音，從業者認為，“如果以為CNN就是AI的巔峰技術，從而斷言AI這幾十年都沒有革命性的進步，那就有點太鼠目寸光了，科學的發展都是一步一個腳印，妄言自己已經站在巔峰，未免過于狂妄，”

第三，“少數派”要擁有獨立的見解和勇氣，

回望過去10年，以深度學習為代表的人工智能技術取得了巨大進展，這個發展的程序離不開研究人員獨立的見解和勇氣，就像為了證明「神經網路」是有用的，三巨頭堅守長達三十年，Yann LeCun曾經被屢屢拒稿，被業內人士排擠也沒有忘記初心，期間，深度學習經歷了低谷和復興，最終從邊緣化走向主流，

在過去的數年，深度學習不僅深刻改變了人工智能學科，也在許多場景中不斷顛覆傳統學科的研究范式，呈現出“多點爆發”的趨勢，從最初的茫然無知，到后來的全民興奮、資本涌入，到現在熱潮退去、回歸理性，身處其中的研究者必定要經受一番考驗，選擇隨波逐流還是堅持信仰，

點擊左下角“閱讀原文”，了解更多！