HanLP《自然語言處理入門》筆記--1.新手上路

1. 新手上路

自然語言處理(Natural Language Processing，NLP)是一門融合了計算機科學、人工智能及語言學的交叉學科，它們的關系如下圖所示，這門學科研究的是如何通過機器學習等技術，讓計算機學會處理人類語言，乃至實作終極目標--理解人類語言或人工智能，

美國計算機科學家Bill Manaris在《計算機進展》( Advances in Computers)第47卷的《從人機互動的角度看自然語言處理》一文中曾經給自然語言處理提出了如下的定義:

“自然語言處理可以定義為研究在人與人交際中以及在人與計算機交際中的語言問題的一門學科，自然語言處理要研制表示語言能力和語言應用的模型，建立計算框架來實作這樣的語言模型，提出相應的方法來不斷地完善這樣的語言模型，根據這樣的語言模型設計各種實用系統，并探討這些實用系統的評測技術，”

1.1 自然語言與編程語言的比較

1.2 自然語言處理的層次

1. 語音、影像和文本

   自然語言處理系統的輸入源一共有3個，即語音、影像與文本，語音和影像這兩種形式一般經過識別后轉化為文字，轉化后就可以進行后續的NLP任務了，

2. 中文分詞、詞性標注和命名物體識別

   這3個任務都是圍繞詞語進行的分析，所以統稱詞法分析，詞法分析的主要任務是將文本分隔為有意義的詞語(中文分詞)，確定每個詞語的類別和淺層的歧義消除(詞性標注)，并且識別出一些較長的專有名詞(命名物體識別)，對中文而言，詞法分析常常是后續高級任務的基礎，

3. 資訊抽取

   詞法分析之后，文本已經呈現出部分結構化的趨勢，根據分析出來的每個單詞和附有自己詞性及其他標簽的資料，抽取出一部分有用的資訊，關鍵詞、專業術語等，也可以根據統計學資訊抽取出更大顆粒度的文本，

4. 文本分類與文本聚類

   將文本拆分為一系列詞語之后，就可以對文本進行分類和聚類操作，找出相類似的文本，

5. 句法分析

   詞法分析只能得到零散的詞匯資訊，計算機不知道詞語之間的關系，在一些問答系統中，需要得到句子的主謂賓結構，這就是句法分析得到的結果，如下圖所示：

   

   不僅是問答系統或搜索引擎，句法分析還經常應用有基于短語的機器翻譯，給譯文的詞語重新排序，

6. 語意分析與篇章分析

   相較于句法分析，語意分析側重語意而非語法，它包括詞義消歧(確定一個詞在語境中的含義，而不是簡單的詞性)、語意角色標注(標注句子中的謂語與其他成分的關系)乃至語意依存分析(分析句子中詞語之間的語意關系)，

7. 其他高級任務

   自動問答、自動摘要、機器翻譯

   注意，一般認為資訊檢索(Information Retrieve，IR)是區別于自然語言處理的獨立學科，IR的目標是查詢資訊，而NLP的目標是理解語言，

1.3 自然語言處理的流派

1. 基于規則的專家系統

   規則，指的是由專家手工制定的確定性流程，專家系統要求設計者對所處理的問題具備深入的理解，并且盡量以人力全面考慮所有可能的情況，它最大的弱點是難以拓展，當規則數量增加或者多個專家維護同一個系統時，就容易出現沖突，

2. 基于統計的學習方法

   人們使用統計方法讓計算機自動學習語言，所謂“統計”，指的是在語料庫上進行的統計，所謂“語料庫”，指的是人工標注的結構化文本，

   統計學習方法其實是機器學習的別稱，而機器學習則是當代實作人工智能的主要途徑，

3. 歷史

   

1.4 機器學習

1. 什么是機器學習

   美國工程院院士 Tom Mitchell 給過一個更明確的定義，機器學習指的是計算機通過某項任務的經驗資料提高了在該項任務上的能力，

2. 模型

   模型是對現實問題的數學抽象，由一個假設函式以及一系列引數構成，以下就是最簡單的模型公式：

   \[f(x)=w*x+b \]

   其中，w 和 b 是函式的引數，而 x 是函式的自變數，不過模型并不包括具體的自變數x，因為自變數是由用戶輸入的，自變數 x 是一個特征向量，用來表示一個物件的特征，

3. 特征

   • 特征指的是事物的特點轉化的數值，
   • 如何挑選特征，如何設計特征模板，這稱作特征工程，特征越多，引數就越多；引數越多，模型就越復雜，

4. 資料集

   樣本的集合在機器學習領域稱作資料集，在自然語言處理領域稱作語料庫，

5. 監督學習

   如果資料集附帶標準答案 y，則此時的學習演算法稱作監督學習，學習一遍誤差還不夠小，需要反復學習、反復調整，此時的演算法是一種迭代式的演算法，每一遍學習稱作一次迭代，這種在有標簽的資料集上迭代學習的程序稱作訓練，

6. 無監督學習

   如果我們只給機器做題，卻不告訴它參考答案，機器仍然可以學到知識嗎？可以，此時的學習稱作無監督學習，而不含標準答案的資料集被稱作無標注的資料集，無監督學習一般用于聚類和降維，降維指的是將樣本點從高維空間變換成低維空間的程序，

7. 其他型別的機器學習演算法

   • 半監督學習：如果我們訓練多個模型，然后對同一個實體執行預測，會得到多個結果，如果這些結果多數一致，則可以將該實體和結果放到一起作為新的訓練樣本，用力啊擴充訓練集，這樣的演算法被稱為半監督學習，
   • 強化學習：現實世界中的事物之間往往有很長的因果鏈：我們要正確地執行一系列彼此關聯的決策，才能得到最終的成果，這類問題往往需要一邊預測，一邊根據環境的反饋規劃下次決策，這類演算法被稱為強化學習，

1.5 語料庫

1. 中文分詞語料庫

   中文分詞語料庫指的是，由人工正確切分的句子集合，以著名的1998年《人民日報》語料庫為例：

   先 有 通貨膨脹 干擾，后 有 通貨 緊縮 叫板，

2. 詞性標注語料庫

   它指的是切分并為每個詞語制定一個詞性的語料，依然以《人民日報》語料庫為例：

   邁向/v 充滿/v 希望/n 的/u 新/a 世紀/n --/w 一九九八年/t 新年/t 講話/n

   這里每個單詞后面用斜杠隔開的就是詞性標簽，

3. 命名物體識別語料庫

   這種語料庫人工標注了文本內部制作者關心的物體名詞以及物體類別，比如《人民日報》語料庫中-共含有人名、地名和機構名3種命名物體:

   薩哈夫/nr 說/v ,/w 伊拉克/ns 將/d 同/p [聯合國/nt 銷毀/v 伊拉克/ns 大規模/b 殺傷性/n 武器/n 特別/a 委員會/n] /nt 繼續/v 保持/v 合作/v ，/w

   這個句子中的加粗詞語分別是人名、地名和機構名，中括號括起來的是復合詞，我們可以觀察到:有時候機構名和地名復合起來會構成更長的機構名，這種構詞法上的嵌套現象增加了命名物體識別的難度，

4. 句法分析語料庫

   漢語中常用的句法分析語料庫有CTB(Chinese Treebank，中文樹庫)，其中一個句子可視化后如下圖所示：

   

   中文單詞上面的英文標簽標示詞性，而箭頭表示有語法聯系的兩個單詞，具體是何種聯系由箭頭上的標簽標示，

5. 文本分類語料庫

   它指的是人工標注了所屬分類的文章構成的語料庫，

6. 語料庫的建設

   語料庫建設指的是構建一份語料庫的程序，分為規范制定、人員培訓與人工標注這三個階段，針對不同型別的任務，人們開發出許多標注軟體，其中比較成熟的一款是brat，它支持詞性標注、命名物體識別和句法分析等任務，

1.6 開源工具

1. 主流NLP工具比較

   

   另外，也研究過其他開源專案的原理，借鑒了其中優秀的設計，但畢竟還是自己寫的代碼講得最清楚，所以綜合以上各種考慮，最后選取了HanLP作為本書的實作，

2. Python介面

   HanLP 的 Python 介面由 pyhanlp 包提供，其安裝只需一句命令：

   $ pip install pyhanlp
   

1.7 總結

本章給出了人工智能、機器學習與自然語言處理的宏觀縮略圖與發展時間線，機器學習是人工智能的子集，而自然語言處理則是人工智能與語言學、計算機科學的交集，這個交集雖然小，它的難度卻很大，為了實作理解自然語言這個宏偉目標，人們嘗試了規則系統，并最終發展到基于大規模語料庫的統計學習系統，

在接下來的章節中，就讓我們按照這種由易到難的發展規律去解決第一個NLP問題一中文分詞，我們將先從規則系統人手，介紹一些快而不準的演算法，然后逐步進化到更加準確的統計模型，

1.8 GitHub專案

HanLP何晗--《自然語言處理入門》筆記：

https://github.com/NLP-LOVE/Introduction-NLP

專案持續更新中......

目錄

標籤：其他

上一篇：自定義Keras Layer

下一篇：HanLP《自然語言處理入門》筆記--2.詞典分詞