1. 簡述

Clickhouse默認是多分片單副本集群，分布式表的配置是每個分片只有一份，如果某個節點掛掉的話，則會直接導致寫入或查詢例外；Clickhouse是具有高可用特性的，即每個分片具有2個或以上的副本，當某個節點掛掉時，其他節點上的副本會替代其繼續作業，以保證集群正常運行，

本文主要介紹近期針對clickhouse高可用配置的方法以及資料復制的幾種方式進行總結，

2. 環境說明

2.1. 軟硬體環境

2.2. 集群介紹

3. 組態檔說明

clickhouse高可用配置主要用到metrika.xml，默認路徑：/etc/metrika.xml，

  internal_replication

表示是否只將資料寫入其中一個副本，默認為false，表示寫入所有副本，在復制表的情況下可能會導致重復和不一致，所以這里一定要改為true，

四種復制模式：

• 非復制表，internal_replication=false，寫入單機表時，不同服務器查詢結果不同；插入到分布式表中的資料被插入到兩個本地表中，如果在插入期間沒有問題，則兩個本地表上的資料保持同步，我們稱之為“窮人的復制”，因為復制在網路出現問題的情況下容易發生分歧，沒有一個簡單的方法來確定哪一個是正確的復制，
• 非復制表，internal_replication=true，資料只被插入到一個本地表中，但沒有任何機制可以將它轉移到另一個表中，因此，在不同主機上的本地表看到了不同的資料，查詢分布式表時會出現非預期的資料，顯然，這是配置ClickHouse集群的一種不正確的方法，
• 復制表，internal_replication=true，插入到分布式表中的資料僅插入到其中一個本地表中，但通過復制機制傳輸到另一個主機上的表中，因此兩個本地表上的資料保持同步，這是官方推薦配置，
• 復制表，internal_replication=false，資料被插入到兩個本地表中，但同時復制表的機制保證重復資料會被洗掉，資料會從插入的第一個節點復制到其它的節點，其它節點拿到資料后如果發現資料重復，資料會被丟棄，這種情況下，雖然復制保持同步，沒有錯誤發生，但由于不斷的重復復制流，會導致寫入性能明顯的下降，所以這種配置實際應該是避免的，

一條資料要insert到ontime_all_2中，假設經過rand()實際是要寫入到hadoop1的ontime_local表中，此時ontime_local配置了兩個副本，
如果internal_replication是false，那么就會分別往兩個副本中插入這條資料，注意！！！分別插入，可能一個成功，一個失敗，插入結果不檢驗！這就導致了不一致性；
而如果internal_replication是true，則只往1個副本里寫資料，其他副本則是由ontime_local自己進行同步，這樣就解決了寫入一致性問題，

組態檔中macros若省略，則建復制表時每個分片需指定zookeeper路徑及副本名稱，同一分片上路徑相同，副本名稱不同；若不省略需每個分片不同配置：

<!-- wuxiang-test-1 -->  

1. <macros>  
2. <shard>01</shard>  
3. <replica>replica1</replica>  
4. </macros>  

<!-- wuxiang-test-2 -->  

1. <macros>  
2. <shard>01</shard>  
3. <replica>replica2</replica>  
4. </macros>  

<!-- wuxiang-test-3 -->  

1. <macros>  
2. <shard>02</shard>  
3. <replica>replica1</replica>  
4. </macros>  

<!-- wuxiang-test-4 -->  

1. <macros>  
2. <shard>02</shard>  
3. <replica>replica2</replica>  
4. </macros>  

4. 復制表引擎說明

復制表引擎采用Replicated*MergeTree表引擎，此類表引擎支持表級別的資料副本，要使用副本，需在配置中設定zookeeper集群地址，

--創建復制表  

1. CREATE TABLE test.szt_data_rep   
2. (  
3. id String,   
4. card_id String,   
5. deal_time String,   
6. trade_type String,   
7. trade_sum Int16,   
8. trade_value Int16,   
9. terminal_code String,   
10. com_line String,   
11. line_station String,   
12. car_gate String,   
13. flag String,   
14. finish_time Date  
15. )  
16. ENGINE = ReplicatedMergeTree('/data/clickhouse/{shard}/szt_data_rep', '{replica}')  
17. PARTITION BY finish_time  
18. ORDER BY (card_id, terminal_code)  
19. SAMPLE BY card_id;  

ReplicatedMergeTree引數

• zoo_path — ZooKeeper 中該表的路徑，可自定義，
• replica_name — ZooKeeper 中的該表的副本名稱，自定義，

以上引數則是讀取組態檔中macros自動填充

表副本創建完成后，可連接zk查看對應路徑：

/share/apps/zookeeper-3.4.14/bin/zkCli.sh -server 192.168.40.218:2181

5. 資料副本

本檔案主要研究兩種資料備份方式：服務器備份、交叉備份，

5.1. 服務器備份

服務器備份，按照本文研究的2分片2副本的情況，即一個分片下兩個服務器作為兩個副本，這兩個服務器的資料互相備份，

  組態檔修改如下：

若internal_replication為true，則是由表自動同步資料，若為false則由集群自動同步資料，若使用復制表推薦internal_replication設定為true，

此種配置優點在于若分片中有一臺服務器掛掉，則另一臺可以立即替代其繼續運行，待機器啟動后資料會自動同步；缺點：復制表需占用整臺服務器，耗費資源，

5.2. 交叉備份

交叉備份與上一種備份方式的區別在于，每臺機器上運行多個clickhouse實體，以不同埠區分，這樣兩臺服務器上的表資料即可交叉備份，

 組態檔修改如下：

  此種配置方式優點在于節省服務器成本，缺點在于clickhouse對于復雜查詢本身占用CPU比較多，多一個服務器同時運行多個實體，可能會對性能造成一定影響，

多實體配置方法：

復制并修改clickhouse server檔案：clickhouse-server-1

cp /etc/rc.d/init.d/clickhouse-server  /etc/rc.d/init.d/clickhouse-server-1vim /etc/rc.d/init.d/clickhouse-server-1

  復制并修改組態檔：config1.xml 

cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config1.xmlvim /etc/clickhouse-server/config1.xml

  users.xml以及/etc/metrika.xml可根據實際情況決定是否創建新的組態檔；

修改完成之后啟動新的實體，并按新設定的埠連接clickhouse即可，

  #若沒有對應的服務啟動埠，需添加
　firewall-cmd --zone=public --add-port=9021/tcp --permanent

#啟動新的服務service clickhouse-server-1 start#用新的埠啟動clickhouse-client -m -u default -h 192.168.40.218 --password F7Us3TU1 --port 9021

6.集群擴展

對于增加或減少服務器的情況，分布式操作只需修改metrika.xml組態檔即可，至于表資料同步，目前找到兩種方法：

6.1. 手動同步

在新的服務器上創建相同的表，將需遷移的服務器上的表資料移動到新的服務器對應目錄下，然后連接clickhouse執行以下陳述句：

1. detach table szt_data_t3; --先將表與資料分離（若表已存在）  
2. attach table szt_data_t3; --然后重新添加進來  

6.2. 創建臨時表

在新的服務器上創建表結構相同但表名不同的臨時分布式表，然后執行以下陳述句：

1. insert into {new_table} select * from {old_table};  

然后洗掉原分布式表，將臨時表重命名即可，

標籤：大數據

上一篇：將這段sqlserver陳述句轉換成oracle陳述句。謝謝

下一篇：安裝有錯誤