Elasticsearch系列---常見搜索方式與聚合分析

聚合分析

聚合分析類似于關系型資料的分組統計，并且用的語法名稱很多都與mysql類似，在這里，能看到很多熟悉的方法，

單field分組統計

需求：統計每種語言下的歌曲數量，

size為0表示不顯示符合條件的document記錄，只顯示統計資訊，不寫的話默認值是10

GET /music/children/_search
{
  "size": 0,
  "aggs": {
    "group_by_lang": {
      "terms": {
        "field": "language"
      }
    }
  }
}

回應結果：

{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 1,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "group_by_lang": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "english",
          "doc_count": 1
        }
      ]
    }
  }
}

如果聚合查詢時出現如下錯誤提示：

"root_cause": [
      {
        "type": "illegal_argument_exception",
        "reason": "Fielddata is disabled on text fields by default. Set fielddata=https://www.cnblogs.com/huangying2124/p/true on [language] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field instead."
      }
    ]

需要將用于分組的欄位的fielddata屬性設定為true

PUT /music/_mapping/children
{
  "properties": {
    "language": {
      "type": "text",
      "fielddata": true
    }
  }
}

帶查詢條件的分組統計

需求：對歌詞中出現"friend"的歌曲，計算每個語種下的歌曲數量

GET /music/children/_search
{
  "size": 0,
  "query": {
    "match": {
      "content": "friend"
    }
  },
  "aggs": {
    "all_languages": {
      "terms": {
        "field": "language"
      }
    }
  }
}

求平均值

需求：計算每個語種下的歌曲，平均時長是多少

GET /music/children/_search
{
	"size": 0,
	"aggs": {
		"group_by_languages": {
			"terms": {
				"field": "language"
			},
			"aggs": {
				"avg_length": {
					"avg": {
						"field": "length"
					}
				}
			}
		}
	}
}

分組后排序

需求：計算每個語種下的歌曲，平均時長是多少，并按平均時長降序排序

GET /music/children/_search
{
	"size": 0,
	"aggs": {
		"group_by_languages": {
			"terms": {
				"field": "language",
				"order": {
				  "avg_length": "desc"
				}
			},
			"aggs": {
				"avg_length": {
					"avg": {
						"field": "length"
					}
				}
			}
		}
	}
}

嵌套查詢，區間分組+分組統計+平均值

需求：按照指定的時長范圍區間進行分組，然后在每組內再按照語種進行分組，最后再計算時長的平均值

GET /music/children/_search
{
  "size": 0,
  "aggs": {
    "group_by_price": {
      "range": {
        "field": "length",
        "ranges": [
          {
            "from": 0,
            "to": 60
          },
          {
            "from": 60,
            "to": 120
          },
          {
            "from": 120,
            "to": 180
          }
        ]
      },
      "aggs": {
        "group_by_languages": {
          "terms": {
            "field": "language"
          },
          "aggs": {
            "average_length": {
              "avg": {
                "field": "length"
              }
            }
          }
        }
      }
    }
  }
}

批量查詢

上面的示例請求，都是單個單個發的，Elasticsearch還有一種語法，可以合并多個請求進行批量查詢，這樣可以減少每個請求單獨的網路開銷，最基礎的語法示例如下:

GET /_mget
{
  "docs": [
    {
      "_index" : "music",
       "_type" : "children",
       "_id" :    1
    },
    {
      "_index" : "music",
       "_type" : "children",
       "_id" :    2
    }
  ]
}

mget下面的docs引數是一個陣列，陣列里面每個元素都可以定義一個檔案的_index、_type和_id元資料，_index可相同也可不相同，也可以定義_source元資料指定想要的field，

回應的示例：

{
  "docs": [
    {
      "_index": "music",
      "_type": "children",
      "_id": "1",
      "_version": 4,
      "found": true,
      "_source": {
        "name": "gymbo",
        "content": "I hava a friend who loves smile, gymbo is his name",
        "language": "english",
        "length": "75",
        "likes": 0
      }
    },
    {
      "_index": "music",
      "_type": "children",
      "_id": "2",
      "_version": 13,
      "found": true,
      "_source": {
        "name": "wake me, shark me",
        "content": "don't let me sleep too late, gonna get up brightly early in the morning",
        "language": "english",
        "length": "55",
        "likes": 9
      }
    }
  ]
}

回應同樣是一個docs陣列，陣列長度與請求時保持一致，如果有檔案不存在、未搜索到或者別的原因導致報錯，不影響整體的結果，mget的http回應碼仍然是200，每個檔案的搜索都是獨立的，

如果批量查詢的檔案是在同一個index下面，可以將_index元資料(_type元資料我也順便移走)移到請求行中：

GET /music/children/_mget
{
  "docs": [
    {
       "_id" :    1
    },
    {
       "_id" :    2
    }
  ]
}

或者是直接使用更簡單的ids陣列：

GET /music/children/_mget
{
  "ids":[1,2]
}

查詢結果是一樣的，

mget的重要性

mget是非常重要的，在進行查詢的時候，如果一次性要查詢多條資料，那么一定要用batch批量操作的api，盡可能減少網路開銷次數，可能可以將性能提升數倍，甚至數十倍，

小結

本篇介紹了最常用的搜索、批量查詢和聚合場景的寫法，包含分組統計，平均值，排序，區間分組，這是最基本的套路，基本包含了我們常見的需求，熟悉mysql的話，掌握起來非常快，熟悉一下Restful的語法，基本就OK了，

專注Java高并發、分布式架構，更多技術干貨分享與心得，請關注公眾號：Java架構社區

標籤：其他

上一篇：ElasticSearch如何更新集群的狀態

下一篇：Elasticsearch系列---分布式架構機制講解