ES入門寶典（詳細截圖版）

本文使用版本基于elasticsearch-6.4.0

1、什么是ES？

官網： https://www.elastic.co/products/elasticsearch

中文官網：https://www.elastic.co/cn/products/elasticsearch

ES是一個全文檢索引擎，提到全文檢索，就要說一下以下幾個概念：

搜索：尋找想要的資訊，根據關鍵字找到想要的資訊，

倒排索引：反向索引，提取關鍵字建立索引，不需要全部遍歷，提高效率，減少掃描次數，

lucene，就是一個jar包 里面有倒排索引和一些演算法 可以基于lucene api進行全文檢索的開發，api復雜，

了解全文檢索，可以關注這篇文章什么是全文檢索

ES也就是Elasticsearch又是什么呢？

封裝lucene 提供企業級服務;

基于Apache lucene構建得開源搜索引擎;

java撰寫 簡單易用得RESTFul API;

橫向擴展 支持PB級的結構化或非結構化資料處理;

ES的功能:

1）分布式的搜索引擎和資料分析引擎，

2）全文檢索，結構化檢索，資料分析，

3）對海量資料進行近實時的處理，

應用場景：

海量資料的分析引擎;站內搜索引擎;資料倉庫，

國外：維基百科，Stack Overflow，GitHub

國內：站內搜索（電商，招聘，門戶，等等），IT系統搜索（OA，CRM，ERP，等等），資料分析（ES熱門的一個使用場景）

2、主要概念

索引index

邏輯存盤 相當于關系型資料庫的表

每個索引有一或多個分片（shard） 每個分片有多個副本（replica）

分片shard

單臺機器無法存盤大量資料，es可以將一個索引中的資料切分為多個shard，分布在多臺服務器上存盤，有了shard就可以橫向擴展，存盤更多資料，讓搜索和分析等操作分布到多臺服務器上去執行，提升吞吐量和性能，每個shard都是一個lucene index，

副本replica

任何一個服務器隨時可能故障或宕機，此時shard可能就會丟失，因此可以為每個shard創建多個replica副本，replica可以在shard故障時提供備用服務，保證資料不丟失，多個replica還可以提升搜索操作的吞吐量和性能，

檔案document

es中的最小資料單元，一個document可以是一條客戶資料，一條商品分類資料，一條訂單資料，通常用JSON資料結構表示，每個index下的type中，都可以去存盤多個document，一個document里面有多個field，每個field就是一個資料欄位，

面向檔案存盤

（1）應用系統的資料結構都是面向物件的，復雜的
（2）物件資料存盤到資料庫中，只能拆解開來，變為扁平的多張表，每次查詢的時候還得還原回物件格式，相當麻煩
（3）ES是面向檔案的，檔案中存盤的資料結構，與面向物件的資料結構是一樣的，基于這種檔案資料結構，es可以提供復雜的索引，全文檢索，分析聚合等功能
（4）es的document用json資料格式來表達

映射mapping

檔案中的每個欄位根據不同型別做相應分析，

ES核心概念 vs. 資料庫核心概念

索引（indices）-------------Table 資料表

檔案（Document）--------Row 行

欄位（Field）-------Columns 列

3、安裝部署

安裝JDK，至少1.8.0_73以上版本

win下部署ES

下載win版本

解壓 放在d盤

同步命令列啟動

C:\Users\JN>d:

D:>cd

D:\elasticsearch-6.4.0>cd bin

D:\elasticsearch-6.4.0\bin>elasticsearch.bat

kibana也是

C:\Users\JN>d:

D:>cd kibana-6.4.0-windows-x86_64

D:\kibana-6.4.0-windows-x86_64>cd bin

D:\kibana-6.4.0-windows-x86_64\bin>kibana.bat

部署成功： 可以通過localhost:9200訪問es

localhost:5601訪問kibana

linux下部署ES

下載linux版本ES

 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz

新建 切換用戶

useradd es
passwd es
su es

解壓

tar -zxvf elasticsearch-6.4.0.tar.gz

修改配置

cd conf
vim elasticsearch.yml  es配置：集群  日志位置 資料位置  訪問限制等等
vim jvm.options   jvm配置

啟動

./bin/elasticsearch

9300：集群節點間通訊介面

9200：客戶端訪問介面

訪問9200可以看見資料回傳

curl localhost:9200

4、簡單Restful Api操作

網頁訪問kibana

localhost:5601 選擇 Dev Tools

基本操作

集群健康 GET /_cat/health

1556162587 11:23:07 elasticsearch green 1 1 1 1 0 0 0 0 - 100.0%

查看索引 GET /_cat/indices?v

green open .kibana NHt9dbSkRWaom_Df6cyi6w 1 0 1 0 4kb 4kb

創建索引 PUT /test_index?pretty

洗掉索引 DELETE /test_index?pretty

CRUD操作

PUT /index/type/id

{

? ”json資料“

}

例子：

PUT /blog01/article/1
{
	"id": "1",
	"title": "elasticsearch"
	"desc":"elasticsearch"
}

PUT /blog01/article/2
{
	"id": "2,
	"title": "kibana "
	"desc":"kibana "
}

es會自動建立index和type，不需要提前創建，而且es會默認對document的每個field都建立倒排索引，讓其可以被搜索，

查詢 GET /blog01/article/1

修改

（替換方式） 替換必須帶所有資訊
 PUT /blog01/article/1
	{
		"id": "1",
		"title": "elasticsearch"
		"desc":"elasticsearch_new"
	}
（更新方式）
POST /blog01/article/2/_update
{
	"doc": {
     "desc":"elasticsearch_new"
   }		
}

洗掉 DELETE /blog01/article/1

簡單搜索

query string search

search引數http附帶

took：整個搜索請求花費了多少毫秒

timed_out：是否超時

_shards：切片

hits.total：本次搜索，回傳了幾條結果
hits.max_score：本次搜索的所有結果中，最大的相關度分數是多少，每一條document對于search的相關度，越相關，_score分數越大，排位越靠前

GET /blog01/article/_search?q=desc:kibana
{
  "took": 4,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0.2876821,
    "hits": [
      {
        "_index": "blog01",
        "_type": "article",
        "_id": "2",
        "_score": 0.2876821,
        "_source": {
          "id": "2",
          "title": "kibana ",
          "desc": "kibana "
        }
      }
    ]
  }
}

query DSL

Domain Specified Language

帶json請求體查詢

GET /blog01/article/_search
{
  "query": {
    "match_all": {}
  }
}

query filter

bool可以封裝多個條件 “must”必須匹配 “filter”過濾

GET /blog01/article/_search
{
  "query" : {
		"bool" : {
          	"must" : {
               "match" :{
                  "desc" : "kibana"
               }
          	}	
		}
	}
}

全文檢索 full text search

會根據兩個詞 去倒排索引查找 匹配上任意一個就會回傳 匹配度最高的檔案排在前面

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana test"
               }
	}
}

短語搜索 phrase search

兩個詞必須都包含

GET /blog01/article/_search
{
  "query" : {
               "match_phrase" :{
                  "desc" : "kibana test"
               }
	}
}

高亮結果 highlight search

GET /blog01/article/_search
{
  "query" : {
               "match" :{
                  "desc" : "kibana"
               }
               
	},
	"highlight":{
                 "fields":{
                   "desc" :{}
                 }
    } 
}

更多ES，Flink，Kafka等實時計算相關博文，歡迎關注實時流式計算：

標籤：大數據

上一篇：PB中呼叫gethostbyname

下一篇：pb不能創建ASA資料庫