ElasticSearch實戰系列二: ElasticSearch的DSL陳述句使用教程---圖文詳解-有解無憂

前言

在上一篇中介紹了ElasticSearch集群和kinaba的安裝教程，本篇文章就來講解下 ElasticSearch的DSL陳述句使用，

ElasticSearch DSL 介紹

Elasticsearch提供了基于JSON的完整查詢DSL（特定于域的語言）來定義查詢，將查詢DSL視為查詢的AST（抽象語法樹），它由兩種子句組成：

葉子查詢子句:
葉查詢子句中尋找一個特定的值在某一特定領域，如 match，term或 range查詢，這些查詢可以自己使用，
復合查詢子句
復合查詢子句包裝其他葉查詢或復合查詢，并用于以邏輯方式組合多個查詢（例如 bool或dis_max查詢），或更改其行為（例如 constant_score查詢），
查詢子句的行為會有所不同，具體取決于它們是在查詢背景關系中還是在過濾器背景關系中使用，

我們在使用ElasticSearch的時候，避免不了使用DSL陳述句去查詢，就像使用關系型資料庫的時候要學會SQL語法一樣，如果我們學習好了DSL語法的使用，那么在日后使用和使用Java Client呼叫時候也會變得非常簡單，

ElasticSearch DSL 陳述句使用

這里我們先來介紹下DSL 陳述句簡單的使用，從最常用的增刪改查開始！

一、新增資料

ElasticSearch可以直接新增資料，只要你指定了index(索引庫名稱)和type(型別)即可，在新增的時候你可以自己指定主鍵ID，也可以不指定，由 ElasticSearch自身生成，

新增資料命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

kinaba示例圖:
在這里插入圖片描述
注: POST test1/_doc/1 這是指定主鍵ID為1，如果POST test1/_doc 的話，那么便是es自身生成ES陳述句，

這里我們還可以通過 GET test1/ 或 GET test1/_settings和GET test1/_mapping查看該index的狀態，也就是 setting(設定選項) 和mapping(資料結構)，
在這里插入圖片描述

二、創建索引庫

在上述示例中，我們通過直接通過創建資料從而創建了索引庫，但是沒有創建索引庫而通過ES自身生成的這種并不友好，因為它會使用默認的配置，欄位結構都是text(text的資料會分詞，在存盤的時候也會額外的占用空間)，分片和索引副本采用默認值，默認是5和1，ES的分片數在創建之后就不能修改，除非reindex(下面會講到)，所以這里我們還是指定資料模板進行創建，

這里先簡單介紹一下ES的資料結構，以下的資料結構為ES的6.x版本，

核心資料型別
text 和 keyword
數值資料型別
long，integer，short，byte，double，float，half_float，scaled_float
日期資料型別
date
布爾資料型別
boolean
二進制資料型別
binary
范圍資料型別
integer_range，float_range，long_range，double_range，date_range
復雜資料型別編輯
物件資料型別
object 用于單個JSON物件
嵌套資料型別
nested 用于JSON物件陣列
地理資料型別編輯
地理位置資料型別
geo_point 緯度/經度積分
地理形狀資料型別
geo_shape 用于多邊形等復雜形狀
專業資料型別編輯
IP資料型別
ip 用于IPv4和IPv6地址
完成資料型別
completion 提供自動完成建議
令牌計數資料型別
token_count 計算字串中令牌的數量
mapper-murmur3
murmur3 在索引時計算值的哈希并將其存盤在索引中
mapper-annotated-text
annotated-text 索引包含特殊標記的文本（通常用于標識命名物體）
滲濾器型別
接受來自query-dsl的查詢
join 資料型別
為同一索引內的檔案定義父/子關系
別名資料型別
為現有欄位定義別名，
多欄位編輯
為不同的目的以不同的方式對同一欄位建立索引通常很有用，例如，一個string欄位可以映射為text用于全文搜索的欄位，也可以映射為keyword用于排序或聚合的欄位，或者，您可以使用standard分析儀， english分析儀和 french分析儀索引文本欄位，
這是多領域的目的，大多數資料型別通過fields引數支持多欄位，

上面介紹的欄位介紹雖然比較復雜，但是我們常用的幾個型別也就是這幾種 text、keyword、byte、short、integer、long、float、double、boolean、date，其中text和keyword都是string型別，選擇區分很簡單，需要進行分詞用text，不需要并且進行排序或聚合的可以用keyword，

關于ES的資料結構就到這里了，我們來進行索引庫的創建吧！

新增索引庫的命令示例:

PUT test1
{
    "settings" : {
        "number_of_shards" : 10,
        "number_of_replicas" : 1,
         "refresh_interval" : "1s"
    },
    "mappings" : {
        "_doc" : {
            "properties" : {
                "uid" : { "type" : "long" },
                "phone" : { "type" : "long" },
                "message" : { "type" : "keyword" },
                "msgcode" : { "type" : "long" },
                 "sendtime" : {  
                  "type" : "date",
                  "format" : "yyyy-MM-dd HH:mm:ss" 
  }
                
            }
        }
    }
}

示例圖:
在這里插入圖片描述

注:

number_of_shards: 是設定的分片數，設定之后無法更改！
refresh_interval: 是設定es快取的重繪時間，如果寫入較為頻繁，但是查詢對實時性要求不那么高的話，可以設定高一些來提升性能，可以更改
number_of_replicas : 是設定該索引庫的副本數，建議設定為1以上，

其中這里還有幾個重要引數也順便說一下:

store: true/false 表示該欄位是否存盤，默認存盤，
doc_values: true/false 表示該欄位是否參與聚合和排序，
index: true/false 表示該欄位是否建立索引，默認建立，

關于這幾個欄位的取值可以參考一下的示例圖:
在這里插入圖片描述

三、修改資料

其實ES的新增和修改可以看做是一樣，存在則修改，不存在則新增，不過這里還是簡單的介紹下吧，
修改資料的方式主要有兩種，一種是通過主鍵ID進行修改，這種比較簡單，就是和新增一樣即可，
另一種則是通過條件進行修改，相當于SQL更新陳述句的 where條件，

根據主鍵修改的命令示例:

POST test1/_doc/1
{
    "uid" : "1234",
    "phone" : "12345678909",
    "message" : "qq",
    "msgcode" : "1",
    "sendtime" : "2019-03-14 01:57:04"
}

根據條件修改的命令示例:

POST test1/_update_by_query
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  } ,
  "script": {
    "source": "ctx._source['message'] = 'xuwujing'"
  }
}

原有的資料：
在這里插入圖片描述

修改后的資料:
在這里插入圖片描述
注：這里的根據條件進行修改用到的腳本語言，ES除了使用DSl陳述句之后，使用一些官方定義的腳本語言和SQL陳述句也能進行操作，腳本語言和SQL陳述句的操作留到以后在來講下，

四、洗掉資料、欄位和索引庫

ES根據主鍵洗掉資料的命令示例是DELETE 索引庫/id，簡單實用，但是一定要要加上ID，不然就是洗掉索引庫了！

根據主鍵洗掉資料命令示例：

DELETE test1/1

根據條件洗掉資料的命令示例：

POST test/_delete_by_query
{
  "query": {
      "term": {
        "phone": "12345678909"
      }
  }
}

當然ES還可以根據條件只洗掉某一個欄位的資料，比如洗掉欄位msgcode的資料，

洗掉欄位資料的命令示例:

POST test/_doc/_update_by_query
{
"script":{
"lang":"painless",
"inline":"ctx._source.remove(\"msgcode\")"
}
}

示例圖:

在這里插入圖片描述

查詢陳述句

查詢所有

match_all可以查詢集群所有索引庫的資訊，包括一些隱藏索性庫的資訊，
命令示例:

GET _search
{   
  "query": {
    "match_all": {}
  }
}

示例圖:
在這里插入圖片描述

查詢索引庫所有的資料，命令格式為GET 索引庫名稱/索引庫型別/_search，也可以不需要索引庫型別，

命令示例:

GET  test1/_doc/_search

如果根據ID查詢某一條資料的話，也比較簡單，只需要將上述的_search換成主鍵ID即可，
命令示例:

GET  test1/_doc/2

等值（term）查詢

term主要用于精確匹配哪些值，比如數字，日期，布林值或 not_analyzed 的字串(未經分析的文本資料型別)

比如根據手機號進行查詢，
命令示例:

GET  test1/_doc/_search
{
  "query": {
    "term": {
      "phone": "12345678909"
    }
  }
}

當然，如果想在一個欄位匹配多個值的話，可以使用terms，相當于SQL的in語法，

命令示例:

GET  test1/_doc/_search
{
  "query": {
    "terms": {
       "uid": [ 
        1234, 
        12345, 
        123456
      ] 
    }
  }
}

示例圖:
在這里插入圖片描述
注：上述中是沒有123456這條資料，這樣只是為了做下簡單的測驗而已，

范圍（range ）查詢

range可以理解為SQL中的><符號，其中gt是大于，lt是小于，gte是大于等于，lte是小于等于，

命令示例:

GET  test1/_doc/_search
{
  "query": {
   "range": { 
      "uid": { 
        "gt": 1234,
        "lte": 12345
      } 
    } 
  }
}

在這里插入圖片描述

存在(exists)查詢

exists可以理解為SQL中的exists函式，就是判斷是否存在該欄位，

這里我們新增一條沒有msgcode的欄位，然后用exists去查詢，

POST test1/_doc/3
{
    "uid" : "123456",
    "phone" : "12345678909",
    "message" : "qq",
    "sendtime" : "2019-03-14 01:57:04"
}

存在查詢命令示例:

GET  test1/_doc/_search
{
  "query": {
   "exists": { 
       "field":"msgcode" 
    } 
  }
}

示例圖:

在這里插入圖片描述

組合(bool)查詢

bool 可以用來合并多個過濾條件查詢結果的布爾邏輯，它包含這如下幾個運算子:

must : 多個查詢條件的完全匹配,相當于 and，
must_not ::多個查詢條件的相反匹配，相當于 not，
should : 至少有一個查詢條件匹配, 相當于 or，

查詢的命令示例:

GET /test1/_search
{
  "query": {
    "bool": {
      "must": {
        "term": {
          "phone": "12345678909"
        }
      },
      "must_not": {
        "term": {
          "uid": 12345
        }
      },
      "should": [
        {
          "term": {
            "uid": 1234
          }
        },
        {
          "term": {
            "uid": 123456
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  }
}

示例圖:
在這里插入圖片描述

模糊(wildcard)查詢

wildcard查詢相當于SQL陳述句中的like語法，只不過它查詢的資料需要加上*符號，

模糊查詢命令示例:

GET /test1/_search
{
  "query": {
   "wildcard": { 
       "message":"*wu*" 
    } 
  }
}

在這里插入圖片描述

正則(regexp)查詢

regexp可以支持正則查詢，比如查詢短信內容中的驗證碼之類的，

下面的這個示例就是查詢以xu開頭，后面是0-9數字的內容的資料，

正則查詢命令示例:

GET /test1/_search
{
  "query": {
   "regexp": { 
       "message":"xu[0-9]" 
    } 
  }
}

示例圖:

在這里插入圖片描述

查詢陳述句的示例到這里就差不多就結束了，這里在推薦一下kinaba查詢的幾個小技巧，如圖所示：
在這里插入圖片描述

其它

參考：
https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

ElasticSearch個人已經使用一年多了，在學習的程序中也積攢了一些相關資料其，只不過今年特別忙，沒有太多時間將其整理成博客進行分享了，說來慚愧，今年寫博客的數量有些少了，下半年自己從一個周更博主變成了月更博主了，不過后面若是時間充足的話也會多些一些的，再忙每個月至少也會寫一篇ヾ(?°?°?)??

ElasticSearch實戰系列:
ElasticSearch實戰系列一: ElasticSearch集群+Kinaba安裝教程

音樂推薦

原創不易，如果感覺不錯，希望給個推薦！您的支持是我寫作的最大動力！
著作權宣告:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
個人博客出處：http://www.panchengming.com

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/52385.html

標籤：大數據

上一篇：安裝虛擬機和網路配置

下一篇：理解大資料