asp.net core系列 75 Elasticsearch與中文分詞配置-有解無憂

一. elasticsearch on windows

　　1.下載地址：

　　　　https://www.elastic.co/cn/downloads/elasticsearch

　　　　如果瀏覽器下載檔案慢，建議使用迅雷下載，速度很快，下載版本為7.5.2

　　2. 修改組態檔

　　　　下載后解壓，找到config\jvm.options，分配JVM堆記憶體大小，原則上是分配總記憶體的50%給 elasticsearch，但不要超過30.5GB，原因是64位尋址會導致性能下降，將默認1g改成512m, 個人電腦當默認1g時，windows安裝會出現：HeapDumpOnOutOfMemoryError

　3. windows安裝

　　　　　打開cmd執行以下命令

　　　　　E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat install

　4.啟動服務

　　　　由于elasticsearch比較耗記憶體，默認安裝服務設定啟動方式為手動，除非真的使用windwos作為服務器，手動啟動服務后，瀏覽器查看：http://localhost:9200/，出現以下代表成功

　　　　name：為集群中的節點名稱，默認值為當前機器名稱，

　　　　cluster_name:集群的名稱，默認為elasticsearch，

　　　查看健康狀態：http://localhost:9200/_cat/health?v

　　　　查看所有索引：http://localhost:9200/_cat/indices?v

　　5. 其它配置

　　　　elasticsearch.yml檔案

　　　　　　transport.port :節點與節點通信的埠，默認為9300

　　　　　　http.port:elasticsearch 開放的Rest介面的埠，默認為9200

　　　　　　network.host 默認為192.168.0.1，要設定為0.0.0.0,系結所有本地地址，或者直接設定一個可供外網訪問的地址

二. Kibana on windows

　　1.下載地址

　　　　https://www.elastic.co/cn/downloads/kibana

　　　　如果瀏覽器下載檔案慢，建議使用迅雷下載，速度很快，下載版本為7.5.2　

　　2.修改組態檔

　　　　在config\kibana.yml檔案中，默認連接elasticsearch地址是：elasticsearch.hosts: ["http://localhost:9200"]，如果elasticsearch和kibana都在同一臺機器，則不需要修改，

　　3. 啟動

　　　　Kibana不同于Elasticsearch，Kibana官方并沒有提供安裝為系統服務的方法，在bin目錄下雙擊kibana.bat檔案，暫用控制臺作為宿主，在瀏覽器運行http://localhost:5601/

　　　　首頁右下角單擊，左邊的導航欄會展開，如下所示：

　　　　可以將sample flight data 飛行記錄資料和sample web logs web日志記錄，這二個樣例資料匯入，方便學習，

　　　　在左邊的導航欄Dev Tools 中，可以呼叫 elasticsearch api 來進行操作，如下所示：

　　4.kibana其它配置

　　　　4.1 kibana.yml修改為中文

　　　　　　#i18n.locale: "en"
　　　　　　 i18n.locale: "zh-CN"

三.分析器安裝

　　IK 是中文分析器中比較有名的，分詞包括兩種: ik_smart和ik_max_word，二種區別在于提取詞項的粒度，前者提取的粒度最粗，后者最細，elsaticsearch默認并不支持ik,需要安裝，版本與elsaticsearch保持一致，這里下載v7.5.2，下載地址：https://github.com/medcl/elasticsearch-analysis-ik/releases elasticsearch-analysis-ik-7.5.2.zip

　　在plugins下，新建一個ik檔案夾，解壓放入，重啟ES，如下所示：

　　(打開kibana的Dev Tools測驗)IK中文分析器測驗，ik_max_word測驗如下：

　　 IK中文分析器測驗，ik_smart測驗如下：

四.IK擴展詞典

　　3.1 本地配置自定義詞典

　　　　如下圖，先建一個txt檔案，文本格式為 UTF8 編碼，重命名為mydict.dic檔案，添加自定義詞典

　　　　將dic新檔案路徑配置到IKAnalyzer.cfg.xml中，如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴展配置</comment>
    <!--用戶可以在這里配置自己的擴展字典 -->
    <entry key="ext_dict">custom/mydict.dic</entry>
     <!--用戶可以在這里配置自己的擴展停止詞字典-->
    <entry key="ext_stopwords"></entry>
    <!--用戶可以在這里配置遠程擴展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用戶可以在這里配置遠程擴展停止詞字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

　　　　置后，重啟es服務，再使用分詞器測驗如下所示：

五.IK熱更新詞庫

　　官方給出建議：可以將需自動更新的熱詞放在一個 UTF-8 編碼的 .txt 檔案里，放在 nginx 或其他簡易 http server 下，當 .txt 檔案修改時，http server 會在客戶端請求該檔案時自動回傳相應的 Last-Modified 和 ETag，可以另外做一個工具來從業務系統提取相關詞匯，并更新這個 .txt 檔案，

　　下面使用iis作為http服務器，新建一個站點，站點下有一個hotword.txt 檔案，應用池托管為v 4.0經典模式，去掉壓縮不然lk程式監視器讀取不到，再就是設定http回應頭，因為該 http 請求需要回傳兩個頭部(header)，一個是 Last-Modified，一個是 ETag，這兩者都是字串型別，只要有一個發生變化，該插件就會去抓取新的分詞進而更新詞庫，配圖如下所示：

　　將服務器txt檔案路徑配置到IKAnalyzer.cfg.xml中，如下所示：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 擴展配置</comment>
    <!--用戶可以在這里配置自己的擴展字典 -->
    <!--<entry key="ext_dict"></entry>-->
     <!--用戶可以在這里配置自己的擴展停止詞字典-->
  <!--<entry key="ext_stopwords"></entry>-->
    <!--用戶可以在這里配置遠程擴展字典 -->
     <entry key="remote_ext_dict">http://localhost:8088/hotword.txt</entry> 
    <!--用戶可以在這里配置遠程擴展停止詞字典-->
  <!--  <entry key="remote_ext_stopwords"></entry>-->
</properties>

　　hotword.txt配置如下所示：

　　　重啟es服務器，在Log/elasticsearch.log中可以看到加載的詞串列，如下所示：

[2020-02-18T10:46:47,129][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] try load config from D:\有啦\elasticsearch-7.5.2\plugins\ik\config\IKAnalyzer.cfg.xml
[2020-02-18T10:46:47,206][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] [Dict Loading] http://localhost:8088/hotword.txt
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 新冠肺炎
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 盛吉芳
[2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 首提
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] 哈哈
[2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor          ] [DESKTOP-D49T1S2] reload ik dict finished.

　　　測驗分詞，如下所示：

參考文獻

　　analysis-ik

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/63578.html

標籤：其他

上一篇：opencv +數字識別

下一篇：正則運算式過濾html注釋內容