全文檢索技術被廣泛的應用于搜索引擎，查詢檢索等領域，我們在網路上的大部分搜索服務都用到了全文檢索技術，
對于資料量大、資料結構不固定的資料可采用全文檢索方式搜索，比如百度、Google等搜索引擎、論壇站內搜索、電商網站站內搜索等，
什么是全文檢索呢？先看一下百度百科的專業定義，
為了能更好的理解，我們先看一個簡單的例子，
案例
實作一個檔案的搜索功能，通過關鍵字搜索檔案，凡是檔案名或檔案內容包括關鍵字的檔案都需要找出來，還可以根據中文詞語進行查詢，并且需要支持多個條件查詢，
本案例中的原始內容就是磁盤上的一些示例檔案，如下圖：
如果用資料庫實作的話，資料庫中的搜索很容易實作，通常都是使用sql陳述句進行查詢，而且能很快的得到查詢結果，
為什么資料庫搜索很容易？
因為資料庫中的資料存盤是有規律的，有行有列而且資料格式、資料長度都是固定的，
但是，我們生活中的資料總體是分為兩種的：結構化資料和非結構化資料，
結構化資料：指具有固定格式或有限長度的資料，如資料庫，元資料等，
非結構化資料：指不定長或無固定格式的資料，如郵件，word檔案等磁盤上的檔案
結構化資料的查詢我們可以通過sql搞定，那么非結構化的呢？
非結構化資料的查詢方法
非結構化資料查詢有兩種辦法：
（1）順序掃描法(Serial Scanning)
所謂順序掃描，比如要找內容包含某一個字串的檔案，就是一個檔案一個檔案的看，對于每一個檔案，從頭看到尾，如果此檔案包含此字串，則此檔案為我們要找的檔案，接著看下一個檔案，直到掃描完所有的檔案，如利用windows的搜索也可以搜索檔案內容，只是相當的慢，
（2）全文檢索(Full-text Search)
將非結構化資料中的一部分資訊提取出來，重新組織，使其變得有一定結構，然后對此有一定結構的資料進行搜索，從而達到搜索相對較快的目的，這部分從非結構化資料中提取出的然后重新組織的資訊，我們稱之索引，
例如：字典，字典的拼音表和部首檢字表就相當于字典的索引，對每一個字的解釋是非結構化的，如果字典沒有音節表和部首檢字表，在茫茫辭海中找一個字只能順序掃描，然而字的某些資訊可以提取出來進行結構化處理，比如讀音，就比較結構化，分聲母和韻母，分別只有幾種可以一一列舉，于是將讀音拿出來按一定的順序排列，每一項讀音都指向此字的詳細解釋的頁數，我們搜索時按結構化的拼音搜到讀音，然后按其指向的頁數，便可找到我們的非結構化資料——也即對字的解釋，
這種先建立索引，再對索引進行搜索的程序就叫全文檢索(Full-text Search)，
雖然創建索引的程序也是非常耗時的，但是索引一旦創建就可以多次使用，全文檢索主要處理的是查詢，所以耗時間創建索引是值得的，
那么如何實作全文檢索呢？
Lucene
提到全文檢索，不得不提到的一個技術就是Lucene，Lucene是apache下的一個開放源代碼的全文檢索引擎工具包，提供了完整的查詢引擎和索引引擎，部分文本分析引擎，我們所熟知的全文檢索引擎Solr和ES都是基于Lucene的，
1、綠色表示索引程序，對要搜索的原始內容進行索引構建一個索引庫，索引程序包括：
確定原始內容即要搜索的內容->采集檔案->創建檔案->分析檔案->索引檔案
?
2、紅色表示搜索程序，從索引庫中搜索內容，搜索程序包括：
用戶通過搜索界面->創建查詢->執行搜索，從索引庫搜索->渲染搜索結果
創建索引
也就是對檔案索引的程序，將用戶要搜索的檔案內容進行索引，索引存盤在索引庫（index）中，
比如剛才的這些檔案：
我們要分析其中所有的單詞，將單詞、檔案名建立映射關系，
（對于單詞的切分包括了對原始檔案提取單詞、去除停用詞等程序，這個程序被稱為分詞）
我們分析其中的一篇檔案Lucene.txt：
原檔案內容：
Lucene is a Java full-text search engine. Lucene is not a complete
application, but rather a code library and API that can easily be used
to add search capabilities to applications.
我們可以分析后得到語匯單元：
lucene、java、full、search、engine，，，，
另一個檔案flink.txt加入幾個單詞：
java flink kakfa
我們也可以得到語匯單元：
java flink kakfa
這樣我們就建立了映射關系，lucene、java、full、search在Lucene.txt中，而flink不在Lucene.txt中，但是在flink.txt中，java即在Lucene.txt中，也在flink.txt中，
那當我們查找lucene這個詞，就在Lucene.txt中，但是查找java時可以獲悉其在這兩個檔案中，
創建索引是對語匯單元索引，通過詞語找檔案，這種索引的結構就叫做叫倒排索引結構，
傳統方法是根據檔案找到該檔案的內容，在檔案內容中匹配搜索關鍵字，這種方法是順序掃描方法，資料量大、搜索慢，
倒排索引結構是根據內容（詞語）找檔案，如下圖：
倒排索引結構也叫反向索引結構，包括索引和檔案兩部分，索引即詞匯表，它的規模較小，而檔案集合較大，
有倒排索引，對應肯定，有正向索引， 正向索引其實就是順序掃描所有檔案，這樣本身效率是極低的，
查詢索引
查詢索引也是搜索的程序，搜索就是用戶輸入關鍵字，從索引（index）中進行搜索的程序，根據關鍵字搜索索引，根據索引找到對應的檔案，從而找到要搜索的內容（這里指磁盤上的檔案），
我們這里就是通過查詢索引表，找到檔案所在的位置，就完成了查詢，但其他的場景可以靈活的把查詢出來的結果展示出去，比如我們的百度搜索時，為我們展示的是相關網頁，
開發一個自己的全文檢索
手動去開發建立索引和查詢索引的功能需要大量的作業，好在lucene已經幫我們完成了大量的作業，只需要呼叫java api就可以完成相關作業，
但是Lucene的API過于底層，并不簡單易用，而且缺乏企業級的管理工具對其進行監控管理，于是企業級的全文檢索引擎就應運而生了，目前最流行的兩個就是：Solr和ES，他們都是建立在Lucene之上的，
Solr
Solr是Apache Lucene專案的開源企業搜索平臺，Solr是高度可擴展的，并提供了分布式搜索和索引復制，
Solr由Java開發，運行在Servlet容器中，是一個獨立的全文搜索服務器，并具有強大的API和外部配置功能，使得無需編碼，便可對其調整以適應多種型別應用，
2010年Apache Lucene與Apache Solr專案合并，所以Lucene/Solr成為了Apache一個專案，
由此可見，Solr的優勢就是：
有一個成熟的開發者社區;本省比較穩定;支持多種格式的索引，
但是由于底層機制的限制，Solr的缺點也很明顯：
建立索引時，搜索效率下降；實時索引搜索效率不高，
ES
ES也就是Elasticsearch，是一個實時的分布式搜索和分析引擎，它可以用于全文搜索，結構化搜索以及分析，
由于Lucene過于復雜，不方便使用，Elasticsearch使用Lucene作為內部引擎，但是Elasticsearch做搜索引擎時，只需要使用同一的API就可以，而不需要了解復雜的Lucene原理，
而且Elasticsearch不僅僅可以做全文搜索功能，在企業中可以作為：
- 分布式實時檔案存盤；
- 實時分析的分布式搜索引擎；
Elasticsearch的Restful API友好而且簡單，特別容易上手，
目前包括維基百科、Stackoverflow、Github等都是用Elasticsearch作為其搜索引擎，
ES簡單體驗
這里我們簡單使用一個ES完成一個全文檢索功能，
1、下載
首先在官網下載 ，官網地址：https://www.elastic.co/products/elasticsearch
下載地址如下：https://www.elastic.co/cn/downloads/elasticsearch
選擇自己系統的我們這選擇WIndows版本，
同時我們可以下載kibana，kibana是配合ES的一個可視化工具，
2、安裝部署
解壓 放在d盤
隨后我們在命令列啟動：
C:\Users\JN>d:
D:>cd
D:\elasticsearch-6.4.0>cd bin
D:\elasticsearch-6.4.0\bin>elasticsearch.bat
kibana也是
C:\Users\JN>d:
D:>cd kibana-6.4.0-windows-x86_64
D:\kibana-6.4.0-windows-x86_64>cd bin
D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat
部署成功： 可以通過localhost:9200訪問es
localhost:5601訪問kibana
3、簡單使用
我們簡單體驗一下ES，打開kibana的DevTools工具，
分別插入兩條資料，并進行搜索，
使用編程語言呼叫ES也與這個類似，簡單易用，
參考檔案：
lucene in action
Elasticsearch權威指南
更多ES,Flink,Kafka等實時流式計算的博文，歡迎關注實時流式計算：
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/234697.html
標籤：其他