目錄
- 建表語法
- 查詢和插入資料
- 資料處理邏輯
- ClickHouse相關資料分享
AggregatingMergeTree引擎繼承自 MergeTree，并改變了資料片段的合并邏輯，ClickHouse會將一個資料片段內所有具有相同主鍵（準確的說是排序鍵）的行替換成一行，這一行會存盤一系列聚合函式的狀態，
可以使用AggregatingMergeTree表來做增量資料的聚合統計，包括物化視圖的資料聚合，
引擎使用以下型別來處理所有列：
- AggregateFunction
- SimpleAggregateFunction
AggregatingMergeTree適用于能夠按照一定的規則縮減行數的情況，
建表語法
CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
...
) ENGINE = AggregatingMergeTree()
[PARTITION BY expr]
[ORDER BY expr]
[SAMPLE BY expr]
[TTL expr]
[SETTINGS name=value, ...]
AggregatingMergeTree表引數與MergeTree表是一致，MergeTree表引擎的決議可以參考ClickHouse(09)ClickHouse合并樹MergeTree家族表引擎之MergeTree詳細決議
查詢和插入資料
要插入資料，需使用帶有-State-聚合函式的INSERT或SELECT陳述句，從AggregatingMergeTree表中查詢資料時，需使用GROUP BY子句并且要使用與插入時相同的聚合函式，但后綴要改為-Merge，
對于SELECT查詢的結果，AggregateFunction型別的值對ClickHouse的所有輸出格式都實作了特定的二進制表示法，在進行資料轉儲時，例如使用TabSeparated格式進行SELECT查詢，那么這些轉儲資料也能直接用INSERT陳述句導回，
如下面的例子，
-- 創建一個AggregatingMergeTree物化視圖
CREATE MATERIALIZED VIEW test.basic
ENGINE = AggregatingMergeTree() PARTITION BY toYYYYMM(StartDate) ORDER BY (CounterID, StartDate)
AS SELECT
CounterID,
StartDate,
sumState(Sign) AS Visits,
uniqState(UserID) AS Users
FROM test.visits
GROUP BY CounterID, StartDate;
--向 test.visits 表中插入資料，資料會同時插入到表和視圖中，并且視圖 test.basic 會將里面的資料聚合，
INSERT INTO test.visits ...
-- 獲取聚合資料，需要在test.basic視圖上執行類似SELECT ... GROUP BY ...這樣的查詢
SELECT
StartDate,
sumMerge(Visits) AS Visits,
uniqMerge(Users) AS Users
FROM test.basic
GROUP BY StartDate
ORDER BY StartDate;
資料處理邏輯
最后總結一下AggregatingMergeTree的處理邏輯，
- 用ORBER BY排序鍵作為聚合資料的條件Key，
- 使用AggregateFunction欄位型別定義聚合函式的型別以及聚合的欄位，
- 只有在合并磁區的時候才會觸發聚合計算的邏輯，
- 以資料磁區為單位來聚合資料，當磁區合并時，同一資料磁區內聚合Key相同的資料會被合并計算，而不同磁區之間的資料則不會被計算，
- 在進行資料計算時，因為磁區內的資料已經基于ORBER BY排序，所以能夠找到那些相鄰且擁有相同聚合Key的資料，
- 在聚合資料時，同一磁區內，相同聚合Key的多行資料會合并成一行，對于那些非主鍵、非AggregateFunction型別欄位，則會使用第一行資料的取值，
- AggregateFunction型別的欄位使用二進制存盤，在寫入資料時，需要呼叫*State函式；而在查詢資料時，則需要呼叫相應的*Merge函式，其中，*表示定義時使用的聚合函式，
- AggregatingMergeTree通常作為物化視圖的表引擎，與普通MergeTree搭配使用，
ClickHouse相關資料分享
ClickHouse經典中文檔案分享
參考文章：ClickHouse(03)ClickHouse怎么安裝和部署
本文來自博客園，作者：張飛的豬，轉載請注明原文鏈接：https://www.cnblogs.com/the-pig-of-zf/p/17096571.html
公眾號：張飛的豬大資料分享，不定期分享大資料學習的總結和相關資料，歡迎關注，
個人網站"張飛的豬編程作業室"鏈接: https://zhangfeidezhu.com
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/543135.html
標籤：大數據