詞法分析就是利用計算機對自然語言的形態(morphology) 進行分析，判斷詞的結構和類別等，”簡單而言，就是分詞并對每個詞進行分類，包括：分詞、詞性標注、物體識別三個任務
問答
知識圖譜，類似一張表， 里面放了 姚明（人） 、妻子（屬性）對應的是誰
這張表來源于網頁挖掘，也是詞法分析，進行對應識別
對話
詞法分析得到標簽，根據動作進行具體操作
對每個字打標簽：B 是一個詞的開始，I 是一個詞的持續，通過一個公式轉換成序列標注
OOV(out of vocabulary) 問題：新詞，沒有見過的詞
將預訓練模型插進來進行替換，解決OOV問題
預測有4個詞，只有3個和標簽標注的一樣，它的準確就是 3/4
只有一個錯了應該是8/9 實際比它要小，所以說以詞為力度去計算是一個更嚴格的標準，
基于上面的評估方法得到的一個準確率和效果，MSR資料集（分詞資料集）BERNIE-CRF效果最好，
最長匹配，準確率還可以，還是有很多地方在使用，高效簡單
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/555367.html
標籤：其他
上一篇：做一個“20倍程式員”
下一篇：返回列表