從零開始初識機器學習

本篇文章中我們將對機器學習做全面的了解與介紹，其中第一章 初識機器學習分為上下兩個小章節，對機器學習是什么、機器學習由來以及機器學習的理論等展開說明，目的是能讓即便完全沒接觸過機器學習的人也能在短時間對機器學習有一個全面了解，后續將推出機器學習的進階內容，包括經典基礎篇（線性模型、決策樹、集成學習、聚類等），實戰進階篇（特征工程、模型訓練與驗證、融合與部署等），本篇為第一章 初識機器學習（上），我們從這里開始，開啟一個全新的學習旅程，

1 機器學習描述

1.1 機器學習是什么？

機器學習（Machine Learning，ML）是使用統計（或數學）技術從觀察到的資料中構建模型（或系統）的一個計算機科學領域，機器學習用計算機程式模擬人的學習能力，從樣本資料中學習得到知識和規律，然后用于實際的推斷和決策，

從廣義上來說，機器學習能夠賦予“機器”學習的能力，使其實作直接編程無法完成的作業，但從實踐意義上來說，機器學習是利用資料訓練出模型，并使用模型進行預測的一種方法，“訓練”與“預測”是機器學習的兩個程序，“模型”則是程序中間的輸出結果，“訓練”產生“模型”，“模型”指導 “預測”，接下來我們把機器學習的程序與人類對歷史經驗歸納演繹的程序做個比對，

機器學習中的“訓練”與“預測”程序可以對應到人類的“歸納”和“演繹”程序，通過這樣的對應，我們可以發現，機器學習的思想并不復雜，僅僅是對人類在生活中學習成長的一個模擬，由于機器學習不是基于編程形成的結果，因此它的處理程序不是因果的邏輯，而是通過歸納思想得出的相關性結論，

人類對歷史經驗歸納程序

人類在成長、生活程序中積累了很多的歷史與經驗，人類定期地對這些經驗進行“歸納”，獲得了生活的“規律”，當人類遇到未知的問題或者需要對未來進行“推測”的時候，人類將使用這些“規律”，對未知問題與未來進行“演繹”，從而指導自己的生活和作業，

1.2 機器學習的應用范圍

機器學習應用廣泛，在各方面都有其施展的空間，包括：資料分析與挖掘、模式識別、虛擬助手和交通預測等，從行業來看，在金融領域（檢測信用卡欺詐、證券市場分析等）、互聯網領域（自然語言處理、語音識別、搜索引擎等）、醫學領域、自動化及機器人領域（無人駕駛、信號處理等）、游戲領域、刑偵領域等也都有所涉及，

1.2.1 資料分析與挖掘

“資料挖掘”和”資料分析”通常被相提并論，但無論是資料分析還是資料挖掘，都是在幫助人們收集與分析資料，使之成為資訊并做出推測與判斷，因此可以將這兩項合稱為資料分析與挖掘，資料分析與挖掘是機器學習技術和大資料存盤技術結合的產物，利用機器學習手段分析海量資料，同時利用資料存盤機制實作資料的高效讀寫，機器學習在資料分析與挖掘領域中擁有無可取代的地位，2012年Hadoop進軍機器學習領域就是一個很好的例子，

1.2.2 模式識別

模式識別的應用領域廣泛，包括計算機視覺、醫學影像分析、光學文字識別、自然語言處理、語音識別、手寫識別、生物特征識別、檔案分類、搜索引擎等，而這些領域也正是機器學習大展身手的舞臺，因此模式識別與機器學習的關系越來越密切，

1.2.3 虛擬助手

Siri，Alexa，Google?Now都是虛擬助手，在互動程序中，虛擬助手會協助查找資訊，搜索相關歷史行為，或向其他資源（如電話應用程式）發送命令收集更多資訊，以滿足人們提出的需求，

1.2.4 交通預測

生活中我們經常使用GPS導航服務，機器學習能夠幫助我們預測交通堵塞，當前高德地圖，騰訊地圖等都應用了機器學習技術，識別擁擠路段，規劃最優路線，

2 機器學習發展史

2.1 淺層學習階段

1. 1957年，Rosenblatt發明了感知機（Perceptron），是神經網路的雛形，同時也是支持向量機的基礎，在當時引起了不小的轟動，
2. 1959年，IBM的寫出了可以學習的西洋棋程式，并在 IBM Journal of Research and Development期刊上發表了一篇名為《Some Studies in Machine Learning Using the Game of Checkers》的論文中，定義并解釋了一個新詞——機器學習（Machine Learning，ML），將機器學習非正式定義為“在不直接針對問題進行編程的情況下，賦予計算機學習能力的一個研究領域”，
3. 1960年，Widrow發明了Delta學習規則，即如今的最小二乘問題，立刻被應用到感知機中，并且得到了一個極好的線性分類器，
4. 1970年，Seppo Linnainmaa首次完整地敘述了自動鏈式求導方法（Automatic Differentiation，AD），是著名的反向傳播演算法（Back Propagation，BP）的雛形，但在當時并沒有引起重視，
5. 1974年，Werbos首次提出把BP演算法的思想應用到神經網路，也就是多層感知機（Multilayer Perception，MLP），并在1982年實作，就是現在通用的BP演算法，促成了第二次神經網路大發展，
6. 1985-1986年，Rumelhart，Hinton等許多神經網路學者成功實作了實用的BP演算法來訓練神經網路，并在很長一段時間內BP都作為神經網路訓練的專用演算法，
7. 1986年，J.R.Quinlan提出了另一個同樣著名的ML演算法—決策樹演算法（Iterative Dichotomiser 3，ID3），決策樹作為一個預測模型，代表的是物件屬性與物件值之間的一種映射關系，而且緊隨其后涌現出了很多類似或者改進演算法，如ID4，回歸樹，CART等，
8. 1995年，Yan LeCun提出了卷積神經網路（Convolution Neural Network，CNN），受生物視覺模型的啟發，通常有至少兩個非線性可訓練的卷積層，兩個非線性的固定卷積層，模擬視覺皮層中的V1，V2，Simple cell和Complex cell，在手寫字識別等小規模問題上，取得了當時世界最好結果，但是在大規模問題上表現不佳，
9. 1995年，Vapnik和Cortes提出了強大的支持向量機（Support Vector Machine，SVM），主要思想是用一個分類超平面將樣本分開從而達到分類效果，具有很強的理論論證和實驗結果，至此，ML分為NN和SVM兩派，
10. 1997年，Freund和Schapire提出了另一個堅實的ML模型AdaBoost，該演算法最大的特點在于組合弱分類器形成強分類器，可以形象地表述為：“三個臭皮匠賽過諸葛亮”，分類效果比其它強分類器更好，
11. 2001年，隨著核方法的提出，SVM大占上風，它的主要思想就是通過將低維資料映射到高維，從而實作線性可分，至此，SVM在很多領域超過了NN模型，除此之外，SVM還發展了一系列針對NN模型的基礎理論，包括凸優化、范化間隔理論和核方法，
12. 2001年，Breiman提出了一個可以將多個決策樹組合起來的模型隨機森林（Random Forest，RF），它可以處理大量的輸入變數，有很高的準確度，學習程序很快，不會產生過擬合問題，具有很好的魯棒性，
13. 2001年，Hochreiter發現使用BP演算法時，在NN單元飽和之后會發生梯度損失（梯度擴散），簡單來說就是訓練NN模型時，超過一定的迭代次數后，容易過擬合，NN的發展一度陷入停滯狀態，

2.2 深度學習階段

二十一世紀初，學界掀起了以“深度學習”為名的熱潮，所謂深度學習？狹義地說就是“很多層”的神經網路，在若干測驗和競賽上，尤其是涉及語音、影像等復雜物件的應用中，深度學習技術取得了優越性能，以往機器學習技術在應用中要取得好性能，對使用者的要求較高；而深度學習技術涉及的模型復雜度非常高，以至于只要下工夫“調參”，只要把引數調節好，性能往往就好，因此，深度學習雖缺乏嚴格的理論基礎，但它顯著降低了機器學習應用者的門檻，為機器學習技術走向工程實踐帶來了便利，那么它為什么此時才熱起來呢？有兩個原因，一是資料量增大了，二是計算能力強了，深度學習模型擁有大量引數，若資料樣本少，則很容易“過擬合”，如此復雜的模型、如此大的資料樣本，若缺乏強力計算設備，根本無法求解，恰恰人類進入了大資料時代，資料儲量與計算設備都有了大發展，才使得深度學習技術又煥發一春，

1. 2006年，Hinton和他的學生在《Nature》上發表了一篇深度置信網路（Deep Belief Network，DBN）的文章，從此開啟了深度學習（Deep Learning，DL）階段，掀起了深度神經網路即深度學習的浪潮，
2. 2009年，微軟研究院和Hinton合作研究基于深度神經網路的語音識別，歷時兩年取得成果，徹底改變了傳統的語音識別技術框架，使得相對誤識別率降低25%，
3. 2012年，Hinton又帶領學生在目前最大的影像資料庫ImageNet上，基于深度神經網路對圖分類問題取得了驚人的結果，將Top5錯誤率由26%大幅降低至15%，（ImageNet 是一個計算機視覺系統識別專案，是目前世界上影像識別最大的資料庫，是美國斯坦福的計算機科學家，模擬人類的識別系統建立的，能夠從圖片識別物體，）
4. 2012年，由人工智能和機器學習頂級學者Andrew Ng和分布式系統頂級專家Jeff Dean領銜的夢幻陣容，開始打造Google Brain專案，用包含16000個CPU核的并行計算平臺訓練超過10億個神經元的深度神經網路，在語音識別和影像識別等領域取得了突破性的進展，該系統通過分析YouTube上選取的視頻，采用無監督的方式訓練深度神經網路，可將影像自動聚類，在系統中輸入“cat”后，結果在沒有外界干涉的條件下，識別出了貓臉，
5. 2012年，微軟首席研究官Rick Rashid在21世紀的計算大會上演示了一套自動同聲傳譯系統，將他的英文演講實時轉換成與他音色相近、字正腔圓的中文演講，同聲傳譯需要經歷語音識別、機器翻譯、語音合成三個步驟，該系統一氣呵成，流暢的效果贏得了一致認可，深度學習則是這一系統中的關鍵技術，
6. 2013年，Google收購了一家叫DNN Research的神經網路初創公司，這家公司只有三個人，Geoffrey Hinton和他的兩個學生，這次收購并不涉及任何產品和服務，只是希望Hinton可以將深度學習打造為支持Google未來的核心技術，同年，紐約大學教授，深度學習專家Yann LeCun加盟Facebook，出任人工智能實驗室主任，負責深度學習的研發作業，利用深度學習探尋用戶圖片等資訊中蘊含的海量資訊，希望在未來能給用戶提供更智能化的產品使用體驗，
7. 2013年，百度成立了百度研究院及下屬的深度學習研究所（Institute of Deep Learning，IDL），將深度學習應用于語音識別和影像識別、檢索，以及廣告CTR預估（Click-Through-Rate Prediction，CTR），其中圖片檢索達到了國際領先水平，
8. 2014年，谷歌宣布其首款成型的無人駕駛原型車制造完畢，將會在2015年正式進行路測，
9. 2016年，谷歌旗下DeepMind公司開發的人工智能程式AlphaGo擊敗圍棋職業九段選手李世石，
10. 2017年，DeepMind團隊公布了最強版AlphaGo，代號AlphaGo Zero，它能在無任何人類輸入的條件下，從空白狀態學起，自我訓練的時間僅為3天，自我對弈的棋局數量為490萬盤，能以100:0的戰績擊敗前輩，

3 易混淆領域梳理

3.1 機器學習與人工智能

人工智能（Artificial Intelligence，AI）是計算機科學的一個分支，它企圖了解智能的本質，生產出一種能比肩人類，并做出智能反應的機器，我們都知道機器學習是人工智能最重要的一種實作方法，但機器學習并不是人工智能一開始就采用的方法，人工智能的發展主要經歷了邏輯推理，專家系統，機器學習三個階段，

1. 第一階段的重點是邏輯推理，例如數學定理的證明，這類方法采用符號邏輯來模擬人類智能，
2. 第二階段的重點是專家系統，這類方法為各個領域的問題建立專家知識庫，利用這些知識來完成推理和決策，比如將醫生的診斷經驗轉化成一個知識庫，然后用這些知識對病人進行診斷，
3. 第三階段的重點即為機器學習，如今的人工智能主要依賴的不再是邏輯推理和專家系統，而是建立在機器學習的基礎上解決復雜問題，無論是基于數學的機器學習模型，還是基于神經網路的深度學習模型，都活躍在如今大多數人工智能應用程式之中，

3.2 機器學習與深度學習

深度學習（Deep Learning，DL）是機器學習的一個重要分支，深度學習和機器學習的關系屬于繼承和發展的關系，在很多人工智能問題上，深度學習的方法加上大資料的出現以及計算機運行速度的提高，更突出了人工智能的前景，比如，自動駕駛汽車，足以徹底改變我們的出行方式，它的實作就需要深度學習的影像識別技術，需要用到卷積神經網路（Convolutional Neural Networks, CNN）來識別馬路上的行人、紅綠燈等，
為了更清晰的認識深度學習，我們首先介紹神經網路（Neural Networks, NN），顧名思義，它是一種模仿動物神經網路行為特征，進行分布式并行資訊處理的演算法數學模型，神經網路有輸入層、隱藏層（中間層）以及輸出層，其中輸入層負責神經網路的輸入，輸出層負責產生輸入的映射，機器學習中的邏輯回歸，可以看作是一層的神經網路，即除了輸入層、輸出層之外只有一個隱藏層，

而深度學習，就是指神經網路使用了很多隱藏層，

那么深度學習的每一層都在學什么？？

當你輸入一張臉部的照片時，神經網路的第一中間層，可以看成是一個特征探測器或者邊緣探測器，它會去找這張照片的各個邊緣（第一張圖片）；第二中間層又把照片里組成邊緣的像素們放在一起看，然后它可以把被探測到的邊緣組合成面部的不同部分（第二張圖片），有眼睛、鼻子等；最后再把這些部分放在一起，比如鼻子眼睛嘴巴，就可以識別或者探測不同的人臉（第三張圖片），

3.3 機器學習與資料挖掘

資料挖掘（Data Mining，DM）是指從大量的資料中搜索隱藏于其中資訊的程序，機器學習是資料挖掘的重要工具之一，但資料挖掘不僅僅要研究、拓展、應用一些機器學習方法，還要通過許多非機器學習技術解決大規模資料與資料噪音等實際問題，大體上看，資料挖掘可以視為機器學習和大資料的交叉，它主要利用機器學習提供的技術來分析海量資料，利用大資料技術來管理海量資料，

3.4 機器學習與統計學

1.統計學簡述

統計學（Statistics）是基于資料構建概率統計模型并運用模型對資料進行分析與預測的一門學科，統計學依托背后的數學理論，在遠早于機器學習大爆發的幾十年，率先從解釋因果的角度，努力尋找最優函式（或模型），統計學里最重要的兩個部分是回歸分析和假設檢驗，其他的方法或者技術在統計學這個大框架下，最終也是為了這兩者服務的，回歸分析提供了解釋因果的武器，假設檢驗則給這項武器裝上了彈藥，單純的線性回歸用最小二乘法求解逼近事實的真相，再使用顯著性檢驗，檢測變數的顯著性、模型的顯著性、模型的擬合精度，當然是否屬于線性，也可以使用假設檢驗的方法檢測，非線性回歸的問題，使用極大似然估計或者偏最小二乘回歸求解模型，后續的顯著性檢驗仍然是一樣的思路，

2.機器學習與統計學對比

統計學是個與機器學習高度重疊的學科，統計學近似等于機器學習，但是在某種程度上兩者是有分別的，這個分別在于：統計學是理論驅動，對資料分布進行假設，以強大的數學理論解釋因果，注重引數推斷，側重統計模型的發展與優化；機器學習是資料驅動，依賴于大資料規模預測未來，榷訓了收斂性問題，注重模型預測，側重解決問題，

3.5 機器學習演算法與“普通”演算法的異同

這里我們以《演算法導論》中所詮釋的演算法作為機器學習演算法的比較物件，其相同點，兩者的目的都是通過制定目標，增加約束，求得最優的模型，不同點是《演算法導論》里的“演算法”，本質上是如何更有效率地求解具有精確解的問題，效率，可以是計算時間更短，也可以是計算程序所需要的空間更少，而機器學習演算法要解決的問題一般沒有精確解，也不能用窮舉或遍歷這種步驟明確的方法求解，這里需要強調的是“學習”這個屬性，即希望演算法本身能夠根據給定的資料或變化的計算環境而動態地發現新的規律，甚至改變機器學習演算法的邏輯和行為，

作者：京東物流 星火團隊

來源：京東云開發者社區

標籤：其他

上一篇：自然語言處理 Paddle NLP - 開放域對話系統-理論

下一篇：返回列表