Flinks所需組件
JobManager
- 接受需要執行的應用，此應用包含一個JobGraph(邏輯Dataflow圖)，以及打包了全部所需類、庫以及其他資源的JAR檔案，JobManager將JobGraph轉化為ExecutionGraph(物理Dataflow圖)，此圖包含了那些可以并行的任務，
- JobManager向ResourceManager申請執行任務所需資源(TaskManager的slot槽)，
- 將ExecutionGraph中的任務分發給TaskManager來執行，
- 負責所有需要集中協調的操作，如創建檢查點等，
ResourceManager
- 分配TaskManager給JobManager，
- 負責終止空閑的TaskManager以釋放資源，
TaskManager
- 向ResourceManager注冊它的slot槽，
- 接受ResourceManager的指示，向JobManager提供一個或多個槽，
- 接受并執行JobManager提供的任務，
Dispatcher
- 提供一個REST介面來讓我們提交需要執行的應用，
- 轉交提交的應用給JobManager，
- 啟動WebUI，用來提供有關作業執行的資訊，
Flink任務提交流程
- 通用提交流程（ResourceManager未指定）
- 運行在yarn上的提交流程
Flink任務提交方式
- standalone
- yarn
1）session模式
①開辟資源
命令：./yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
-n 2 表示分配兩個container容器，也就是taskmanager的數量
-jm 1024 表示jobmanager 1024M記憶體
-tm 1024 表示taskmanager 1024M記憶體
-d 任務后臺運行
②提交任務
./flink run jar包路徑/jar包名.jar
2）job模式
命令：./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 jar包路徑/jar包名.jar
-m yarn-cluster 指定需要連接的jobmanager(主節點)地址
-yn 2 表示分配兩個container容器，也就是taskmanager的數量
-yjm 1024 表示jobmanager 1024M記憶體
-ytm 1024 表示taskmanager 1024M記憶體
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/423575.html
標籤：其他
上一篇：今年跳槽可以再等等