筆記轉載于GitHub專案：https://github.com/NLP-LOVE/Introduction-NLP
8. 命名物體識別
8.1 概述
-
命名物體
文本中有一些描述物體的詞匯，比如人名、地名、組織機構名、股票基金、醫學術語等，稱為命名物體，具有以下共性:
- 數量無窮，比如宇宙中的恒星命名、新生兒的命名不斷出現新組合，
- 構詞靈活，比如中國工商銀行，既可以稱為工商銀行，也可以簡稱工行，
- 類別模糊，有一些地名本身就是機構名，比如“國家博物館”
-
命名物體識別
識別出句子中命名物體的邊界與類別的任務稱為命名物體識別，由于上述難點，命名物體識別也是一個統計為主、規則為輔的任務，
對于規則性較強的命名物體，比如網址、E-mail、IBSN、商品編號等，完全可以通過正則運算式處理，未匹配上的片段交給統計模型處理，
命名物體識別也可以轉化為一個序列標注問題，具體做法是將命名物體識別附著到{B,M,E,S}標簽，比如， 構成地名的單詞標注為“B/ME/S- 地名”，以此類推，對于那些命名物體邊界之外的單詞，則統一標注為0 ( Outside )，具體實施時，HanLP做了一個簡化，即所有非復合詞的命名物體都標注為S，不再附著類別，這樣標注集更精簡，模型更小巧，
命名物體識別實際上可以看作分詞與詞性標注任務的集成: 命名物體的邊界可以通過{B,M,E,S}確定，其類別可以通過 B-nt 等附加類別的標簽來確定，
HanLP內部提供了語料庫轉換工序，用戶無需關心，只需要傳入 PKU 格式的語料庫路徑即可，
8.2 基于隱馬爾可夫模型序列標注的命名物體識別
之前我們就介紹過隱馬爾可夫模型，詳細見: 4.隱馬爾可夫模型與序列標注
隱馬爾可夫模型命名物體識別代碼見(自動下載 PKU 語料庫): hmm_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/hmm_ner.py
運行代碼后結果如下:
華北電力公司/nt 董事長/n 譚旭光/nr 和/c 秘書/n 胡花蕊/nr 來到/v 美國紐約/ns 現代/ntc 藝術/n 博物館/n 參觀/v
其中機構名“華北電力公司”、人名“譚旭光”“胡花蕊”全部識別正確，但是地名“美國紐約現代藝術博物館”則無法識別，有以下兩個原因:
- PKU 語料庫中沒有出現過這個樣本，
- 隱馬爾可夫模型無法利用詞性特征，
對于第一個原因，只能額外標注一些語料，對于第二個原因可以通過切換到更強大的模型來解決，
8.3 基于感知機序列標注的命名物體識別
之前我們就介紹過感知機模型，詳細見: 5.感知機分類與序列標注
感知機模型詞性標注代碼見(自動下載 PKU 語料庫): perceptron_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/perceptron_ner.py
運行會有些慢，結果如下:
華北電力公司/nt 董事長/n 譚旭光/nr 和/c 秘書/n 胡花蕊/nr 來到/v [美國紐約/ns 現代/ntc 藝術/n 博物館/n]/ns 參觀/v
與隱馬爾可夫模型相比，已經能夠正確識別地名了，
8.4 基于條件隨機場序列標注的命名物體識別
之前我們就介紹過條件隨機場模型，詳細見: 6.條件隨機場與序列標注
條件隨機場模型詞性標注代碼見(自動下載 PKU 語料庫): crf_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/crf_ner.py
運行時間會比較長，結果如下:
華北電力公司/nt 董事長/n 譚旭光/nr 和/c 秘書/n 胡花蕊/nr 來到/v [美國紐約/ns 現代/ntc 藝術/n 博物館/n]/ns 參觀/v
得到了結果是一樣的，
8.5 命名物體識別標準化評測
各個命名物體識別模塊的準確率如何，并非只能通過幾個句子主觀感受，任何監督學習任務都有一套標準化評測方案，對于命名物體識別，按照慣例引入P、R 和 F1 評測指標，
在1998年1月《人民日報》語料庫上的標準化評測結果如下:
| 模型 | P | R | F1 |
|---|---|---|---|
| 隱馬爾可夫模型 | 79.01 | 30.14 | 43.64 |
| 感知機 | 87.33 | 78.98 | 82.94 |
| 條件隨機場 | 87.93 | 73.75 | 80.22 |
值得一提的是，準確率與評測策略、特征模板、語料庫規模息息相關，通常而言，當語料庫較小時，應當使用簡單的特征模板，以防止模型過擬合；當語料庫較大時，則建議使用更多特征，以期更高的準確率，當特征模板固定時，往往是語料庫越大，準確率越高，
8.6 自定義領域命名物體識別
以上我們接觸的都是通用領域上的語料庫，所含的命名物體僅限于人名、地名、機構名等，假設我們想要識別專門領域中的命名物體，這時，我們就要自定義領域的語料庫了，
-
標注領域命名物體識別語料庫
首先我們需要收集一些文本， 作為標注語料庫的原料，稱為生語料，由于我們的目標是識別文本中的戰斗機名稱或型號，所以生語料的來源應當是些軍事網站的報道，在實際工程中，求由客戶提出，則應當由該客戶提供生語料，語料的量級越大越好，一般最低不少于數千個句子，
生語料準備就緒后，就可以開始標注了，對于命名物體識別語料庫，若以詞語和詞性為特征的話，還需要標注分詞邊界和詞性，不過我們不必從零開始標注，而可以在HanLP的標注基礎上進行校正，這樣作業量更小，
樣本標注了數千個之后，生語料就被標注成了熟語料，下面代碼自動下載語料庫，
-
訓練領域模型
選擇感知機作為訓練演算法(自動下載 戰斗機 語料庫): plane_ner.py
https://github.com/NLP-LOVE/Introduction-NLP/tree/master/code/ch08/plane_ner.py
運行結果如下:
下載 http://file.hankcs.com/corpus/plane-re.zip 到 /usr/local/lib/python3.7/site-packages/pyhanlp/static/data/test/plane-re.zip 100.00%, 0 MB, 552 KB/s, 還有 0 分 0 秒 米高揚/nrf 設計/v [米格/nr -/w 17/m PF/nx]/np ：/w [米格/nr -/w 17/m]/np PF/n 型/k 戰斗機/n 比/p [米格/nr -/w 17/m P/nx]/np 性能/n 更好/l ，/w [米格/nr -/w 阿帕奇/nrf -/w 666/m S/q]/np 橫空出世/l ，/w這句話已經在語料庫中出現過，能被正常識別并不意外，我們可以偽造一款“米格-阿帕奇-666S”戰斗機，試試模型的繁華能力，發現依然能夠正確識別，
8.7 GitHub
HanLP何晗--《自然語言處理入門》筆記：
https://github.com/NLP-LOVE/Introduction-NLP
專案持續更新中......
目錄
| 章節 |
|---|
| 第 1 章：新手上路 |
| 第 2 章：詞典分詞 |
| 第 3 章：二元語法與中文分詞 |
| 第 4 章：隱馬爾可夫模型與序列標注 |
| 第 5 章：感知機分類與序列標注 |
| 第 6 章：條件隨機場與序列標注 |
| 第 7 章：詞性標注 |
| 第 8 章：命名物體識別 |
| 第 9 章：資訊抽取 |
| 第 10 章：文本聚類 |
| 第 11 章：文本分類 |
| 第 12 章：依存句法分析 |
| 第 13 章：深度學習與自然語言處理 |
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/49861.html
標籤：其他
上一篇：Django資料庫的安全配置問題
下一篇：html兩個界面互相傳輸資訊