1、聚合后分頁應用場景

在常規檢索的基礎上，用戶期望回傳基于特定欄位的聚合結果，且用戶期望分頁查看檢索和聚合結果，

如下圖所示：以2020東京奧運會熱點新聞亞洲飛人"蘇炳添”為例，用戶期望查看有關“蘇炳添”的新聞，同時期望查看相同標題的相似文章串列，

標題：如“9秒98！蘇炳添百米決賽第六！銘記這個歷史瞬間!"，隸屬：新聞的標題，
相似文章數：如 26，需要借助：實時聚合實作，
翻頁：向后翻頁或隨機翻頁，

顯然，傳統的from + size 分頁檢索不支持聚合后分頁，已不能滿足需求，

在【Elasticsearch聚合后分頁深入詳解】博文中，我探討過聚合后分頁查詢的實作，核心方法是：需要借助程式自己實作，

那是 2018 年的博文，3.5 年后的 2021年，有沒有新的實作方式呢？

2、聚合后分頁新的實作

實際在 Elasticsearch 6.1 版本（2017年12月13日發布）就推出了：Composite 聚合方式，能實作聚合后分頁查詢，

2.0 認知前提——單桶聚合&多桶聚合

一圖勝千言，以如下圖示，代表聚合之前的原始資料，無需過多解釋，大家一看就明白，

name：product_0*: 產品名稱；
color：顏色；
pt：發布時間；
brand：品牌；
price：價格，

資料建模如下：

PUT my-products
{
  "mappings": {
    "properties": {
      "brand": {
        "type": "keyword"
      },
      "pt": {
        "type": "date"
      },
      "name": {
        "type": "keyword"
      },
      "color": {
        "type": "keyword"
      },
      "price":{
        "type":"integer"
      }
    }
  }
}

批量寫入資料如下：

PUT my-products/_bulk
{"index":{"_id":1}}
{"brand":"nike","pt":"2021-01-01","name":"product_01","color":"red","price":600}
{"index":{"_id":2}}
{"brand":"grke","pt":"2021-02-01","name":"product_02","color":"red","price":200}
{"index":{"_id":3}}
{"brand":"lining","pt":"2021-03-01","name":"product_03","color":"green","price":300}
{"index":{"_id":4}}
{"brand":"lining","pt":"2021-02-01","name":"product_04","color":"green","price":450}
{"index":{"_id":5}}
{"brand":"grke","pt":"2021-04-01","name":"product_05","color":"blue","price":180}
{"index":{"_id":6}}
{"brand":"grke","pt":"2021-02-01","name":"product_06","color":"yellow","price":165}
{"index":{"_id":7}}
{"brand":"grke","pt":"2021-02-01","name":"product_07","color":"yellow":"price":190}
{"index":{"_id":8}}
{"brand":"lining","pt":"2021-04-01","name":"product_08","color":"blue","price":500}
{"index":{"_id":9}}
{"brand":"nike","pt":"2021-01-01","name":"product_09","color":"blue","price":1000}

2.0.1 單桶聚合

terms 單桶聚合結果如下：

以品牌類別聚合

實作如下：

POST my-products/_search
{
  "size": 0,
  "aggs": {
    "brand_terms": {
      "terms": {
        "field": "brand",
        "size": 10
      }
    }
  }
}

按照顏色、日期實作方式一致，不再贅述，

以顏色聚合

以日期聚合

2.0.2 多桶聚合

Elastic search 支持 multi-terms 多桶聚合，

multi-terms 是 terms 聚合的引申，terms 支持單個關鍵字的聚合，而multi-terms 顧名思義——多個關鍵字的聚合，

舉例：multi-terms 按照品牌、顏色兩個桶聚合如下：

多桶聚合實作如下：

GET my-products/_search
{
  "size":0,
  "aggs": {
    "brands_and_colors_aggs": {
      "multi_terms": {
        "terms": [
          {
            "field": "brand"
          },
          {
            "field": "color"
          }
        ]
      }
    }
  }
}

多桶聚合回傳結果如下：

這時候，不免會有問題，如果想按照品牌和價格區間(histogram）或日期區間（date_histogram) 實作聚合統計分析，該如何實作呢？

顯然，multi-terms 聚合只支持：多個 terms 聚合操作，是不能滿足需求的，

而，Composite 組合聚合應運而生，巧妙的解決了如上組合聚合問題，

2.1 Composite 聚合介紹

2.1.1 Composite 聚合定義

Composite 是個六級詞匯，含義：并合的，復合的，混成的，合成的，集成的，

Composite 聚合是一種多桶聚合，可從不同來源創建復合桶，

具體哪些不同源呢？主要支持的聚合方式如下：

Terms 特定關鍵字聚合
Histogram 區間聚合
Date histogram 日期區間聚合
GeoTile grid Geo地理位置聚合

與其他多桶聚合不同，使用 Composite 聚合有效地對多級聚合( multi-level )中的所有桶進行分頁，Composite 聚合提供了一種流式傳輸特定聚合的所有桶的方法，類似于Scroll 檢索（滾動檢索，適用于全量查詢資料的業務場景）的實作，

關于Scroll 檢索推薦閱讀：

干貨 | 全方位深度解讀 Elasticsearch 分頁查詢

Composite 聚合是根據為每個檔案提取/創建的值的組合構建的，每個組合都被視為一個復合桶（2.1.3 會詳細舉例什么是復合桶），

2.1.2 Composite 聚合的核心功能

Composite 聚合較其他聚合的核心不同點如下：

支持多型別組合桶聚合，打破傳統多桶單型別聚合的壁壘，支持：Terms、Histogram、Data histogram、GeoTile grid Geo 聚合，
支持聚合后分頁，類似：scroll 檢索的，僅支持向后翻頁，不支持隨機翻頁，

2.1.3 Composite 聚合語法

Composite 語法參考如下：

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size": 5,
        "sources": [
          {
            "brand_terms": {
              "terms": {
                "field": "brand",
                "order": "asc"
              }
            }
          },
          {
            "prices_histogram": {
              "histogram": {
                "field": "price",
                "interval": 50,
                "order": "asc"
              }
            }
          }
        ],
        "after": {
          "brand_terms": "lining",
          "prices_histogram": 500
        }
      }
    }
  }
}

sources：指定組合分桶里各個分桶檢索陳述句，可以是一個或者多個（中括弧里面包含多個大括弧子分桶聚合陳述句），
size：每次回傳的結果數，
after：翻頁使用，每一次檢索都會有一個：“after_key”鍵值對組合，供下次檢索使用，
復合桶：{ "brand_terms": "lining", "prices_histogram": 500 } 實則為：品牌和價格區間兩者組成的復合桶，
order：分桶內的排序方式，

3、Composite 聚合后分頁實戰演練

有了上面的分析，再來看Composite 聚合會非常輕松，

拿 2.0 小節的建模資料為示例，

假定需要實作：基于時間區間間隔一個月為單位，且基于品牌名稱兩個組合桶聚合，然后各個組合桶內實作聚合統計各個組合桶的平均價格，

拆解如下：

第一：組合桶，

分桶一：data_histogram 實作按照發布時間間隔周期（指定為1個月）的聚合，
分桶二：terms 品牌聚合，

第二：基于組合桶實作各個組合桶平均價格的統計，

通過組合指標聚合 avg aggregation 實作組合桶內求平均值的子聚合效果，

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size":5,
        "sources": [
          {
            "date": {
              "date_histogram": {
                "field": "pt",
                "calendar_interval": "1m",
                "order": "desc",
                "time_zone": "Asia/Shanghai"
              }
            }
          },
          {
            "product": {
              "terms": {
                "field": "brand"
              }
            }
          }
        ]
      },
      "aggregations": {
        "the_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

回傳結果如下：

說好的聚合后分頁呢？

就是在上面陳述句的后面，執行下一頁翻頁的時候，加上上一頁回傳的“after_key”值（對應如下代表標紅：“after”部分）即可，

GET my-products/_search
{
  "size": 0,
  "aggs": {
    "my_buckets": {
      "composite": {
        "size": 5,
        "sources": [
          {
            "date": {
              "date_histogram": {
                "field": "pt",
                "calendar_interval": "1m",
                "order": "desc",
                "time_zone": "Asia/Shanghai"
              }
            }
          },
          {
            "product": {
              "terms": {
                "field": "brand"
              }
            }
          }
        ],
        "after": {
          "date": 1612137600000,
          "product": "lining"
        }
      },
      "aggregations": {
        "the_avg": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

在生產環境只需要將上述內容拼成java 或者 python 代碼，實作向后翻頁，

4、Composite 聚合注意事項

Composite 聚合僅能實作向后翻頁，不支持隨機翻頁，
Composite 聚合目前與管道（pipeline）聚合（基于聚合結果的子聚合方式）不兼容，在大多數情況下也沒有意義（會導致結果不準確），

5、小結

本文重點講述了聚合后分頁的新實作方式——Composite 聚合，說新其實是較6.1 版本之前的自己實作的方式而言，

Composite 聚合的兩大核心特點：組合桶（支持四種型別）聚合、聚合后分頁，

您的實戰環節有用到聚合后分頁嗎？如何實作的呢？歡迎留言交流細節，

參考

1. https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-multi-terms-aggregation.html

2. https://github.com/elastic/elasticsearch/pull/26800

3. https://ramyav.medium.com/composite-aggregation-using-java-api-38882cabc886

Composite 聚合——Elasticsearch 聚合后分頁新實作