目錄
Flink安裝部署
Local本地模式
原理
操作
測驗
Flink安裝部署
Flink支持多種安裝模式
- - Local—本地單機模式，學習測驗時使用
- - Standalone—獨立集群模式，Flink自帶集群，開發測驗環境使用
- - StandaloneHA—獨立集群高可用模式，Flink自帶集群，開發測驗環境使用
- - On Yarn—計算資源統一由Hadoop YARN管理，生產環境使用
Local本地模式
原理
- Flink程式由JobClient進行提交
- JobClient將作業提交給JobManager
- JobManager負責協調資源分配和作業執行，資源分配完成后，任務將提交給相應的TaskManager
- TaskManager啟動一個執行緒以開始執行，TaskManager會向JobManager報告狀態更改,如開始執行，正在進行或已完成，
- 作業執行完成后，結果將發送回客戶端(JobClient)
操作
1.下載安裝包
https://archive.apache.org/dist/flink/
2.上傳flink-1.12.0-bin-scala_2.12.tgz到node1的指定目錄
3.解壓
tar -zxvf flink-1.12.0-bin-scala_2.12.tgz 4.如果出現權限問題，需要修改權限
chown -R root:root /export/server/flink-1.12.05.改名或創建軟鏈接
mv flink-1.12.0 flink
ln -s /export/server/flink-1.12.0 /export/server/flink
測驗
1.準備檔案/root/words.txt
vim /root/words.txt
hello me you her
hello me you
hello me
hello
2.啟動Flink本地“集群”
/export/server/flink/bin/start-cluster.sh
3.使用jps可以查看到下面兩個行程
- TaskManagerRunner
- StandaloneSessionClusterEntrypoint
4.訪問Flink的Web UI
http://node1:8081/#/overview
5.執行官方示例
/export/server/flink/bin/flink run /export/server/flink/examples/batch/WordCount.jar --input /root/words.txt --output /root/out
6.停止Flink
/export/server/flink/bin/stop-cluster.sh
啟動shell互動式視窗(目前所有Scala 2.12版本的安裝包暫時都不支持 Scala Shell)
/export/server/flink/bin/start-scala-shell.sh local
執行如下命令
benv.readTextFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1).print()
退出shell
:quit
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/279954.html
標籤：其他