作者|SANYA4
編譯|VK
來源|Analytics Vidhya
介紹
現在神經網路無處不在，各大公司都在硬體和人才上大肆揮霍，以確保他們能夠構建最復雜的神經網路，并推出最好的深度學習解決方案，
雖然深度學習是機器學習的一個相當古老的子集，但直到20世紀10年代初，它才得到應有的認可，今天，它已經風靡全球，吸引了公眾的注意，
在本文中，我想對神經網路采取一種稍微不同的方法，并了解它們是如何形成的，
神經網路的起源
神經網路領域最早的報道始于20世紀40年代，沃倫·麥卡洛克和沃爾特·皮茨嘗試用電路建立一個簡單的神經網路，
下圖顯示了一個MCP神經元，如果你學的是高中物理，你會發現這看起來很像一個簡單的NOR門，
l論文展示了借助信號的基本思想，以及如何通過轉換所提供的輸入做出決策，
McCulloch和Pitts的論文提供了一種用抽象的術語描述大腦功能的方法，并表明神經網路中連接的簡單元素可以具有巨大的計算能力，
盡管它具有開創性的意義，但這篇論文幾乎沒有引起人們的注意，直到大約6年后，唐納德·赫伯（下圖）發表了一篇論文，強調了神經通路每次被使用時都會加強，
請記住，那時計算機還處于初級階段，IBM在1981年推出了第一臺PC（IBM5150），
快進到90年代，許多關于人工神經網路的研究已經發表，羅森布拉特在20世紀50年代發明了第一臺感知器，1989年Yann LeCun在貝爾實驗室成功地實作了反向傳播演算法，到了20世紀90年代，美國郵政局已經可以讀取信封上的郵政編碼，
我們今天所知的LSTM是在1997年發明的，
如果90年代已經打下了這么多基礎，為什么要等到2012年才能利用神經網路完成深度學習任務？
硬體與互聯網的興起
深度學習研究遇到的一個主要挑戰是缺乏可重復的研究，到目前為止，這些進展都是理論驅動的，因為可靠資料的可用性很低，硬體資源有限，
在過去的二十年里，硬體和互聯網領域取得了長足的進步，在20世紀90年代，IBM個人電腦的RAM為16KB，在2010年，個人電腦的平均記憶體在4GB左右！
現在，我們可以在我們的電腦上訓練一個小型模型，這在90年代是無法想象的，
游戲市場在這場革命中也扮演了重要角色，像NVIDIA和AMD這樣的公司在超級計算機上投入巨資，以提供高端虛擬體驗，
隨著互聯網的發展，為機器學習任務創建和分發資料集變得容易得多，
從Wikipedia中學習和收集圖片變得更容易，
2010年：我們的深度學習時代
ImageNet:2009年，現代深度學習時代的開始，斯坦福大學的李飛飛創建了ImageNet，這是一個大型的可視化資料集，被譽為是在世界范圍內催生人工智能革命的專案，
早在2006年，李是伊利諾伊大學香檳分校的新教授，她的同事們會不斷地討論新的演算法來做出更好的決策，然而，她看到了他們計劃中的缺陷，
如果在反映真實世界的資料集上訓練，那么最好的演算法也不會運行得很好，ImageNet由超過2萬個類別的1400萬張影像組成，到目前為止，仍然是物體識別技術的基石，
公開競爭：2009年，Netflix舉辦了一個名為Netflix Prize的公開競賽，以預測電影的用戶收視率，2009年9月21日，BellKor的務實混沌團隊以10.06%的優勢擊敗了Netflix自己的演算法，獲得了100萬美元的獎金，
Kaggle成立于2010年，是一個面向全球所有人舉辦機器學習競賽的平臺，它使研究人員、工程師和本土的程式員能夠在解決復雜的資料任務時突破極限，
在人工智能繁榮之前，人工智能的投資約為2000萬美元，到2014年，這項投資增長了20倍，谷歌、Facebook和亞馬遜等市場領導者撥出資金，進一步研究未來的人工智能產品，這一波新的投資浪潮使得深度學習領域的招聘人數從幾百人增加到數萬人，
結尾
盡管起步緩慢，但深度學習已經成為我們生活中不可避免的一部分，從Netflix和YouTube推薦到語言翻譯引擎，從面部識別和醫學診斷到自動駕駛汽車，沒有一個領域是深度學習沒有觸及的，
這些進展拓寬了神經網路在改善我們生活質量方面的未來范圍和應用，
人工智能不是我們的未來，而是我們的現在，它才剛剛開始！
原文鏈接：https://www.analyticsvidhya.com/blog/2020/10/how-does-the-gradient-descent-algorithm-work-in-machine-learning/
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/196037.html
標籤：其他
下一篇：Git Unknown SSL protocol error in connection to github.com:443