Flink設定并行度的幾種方式
-
代碼中設定
setParallelism()-
全域設定：
env.setParallelism(3); -
算子設定（部分設定）：
sum(1).setParallelism(3)
-
-
客戶端CLI設定（或webui直接輸入數量）：
./bin/flink run -p 3 -
系統設定：
修改組態檔設定/conf/flink-conf.yaml的parallelism.defaul數值
4. 最大并行度設定
-
全域設定：
env.setMaxParallelism(n) -
算子設定（部分設定）：
sum(1).setMaxParallelism(n)默認的最大并行度是近似于operatorParallelism + (operatorParallelism / 2)，下限是127，上線是32768.
Flink并行度配置級別：算子>全域env>客戶端CLI>組態檔 ，
注意：
- .setParallelism()設定的并行度需要小于.setMaxParallelism()設定的最大并行度，
- 某些算子無法設定并行度，如socketTextStream
- 本地模式并行度默認為cpu核數
- 并行度改變會影響任務劃分，進而影響task數量，如果taskslots數量不滿足要求，會導致任務沒有足夠的資源分配，
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/22788.html
標籤：大數據