Flink HA模式環境搭建
- `前提：hadoop ha和zookeeper已經安裝完畢`
- 一、下載Flink安裝包
- 二、下載Flink依賴的Hadoop包
- 三、環境規劃
- 四、安裝配置（在hadoop002上進行所有配置）
前提：hadoop ha和zookeeper已經安裝完畢
一、下載Flink安裝包
- Flink官網下載
二、下載Flink依賴的Hadoop包
- Flink依賴的Hadoop包：點擊下載
三、環境規劃
- 五臺虛擬機：
hadoop002 主節點
hadoop003 主節點（備）
hadoop004 從節點
hadoop005 從節點
hadoop006 從節點
四、安裝配置（在hadoop002上進行所有配置）
- 上傳Flink安裝包到Hadoop002上
- 解壓安裝到指定目錄下，執行：
tar -zvxf /tools/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar -C /training/ - 配置環境變數（可選，建議配置，并同步到其他節點），
vi ~/.bash_profile，添加如下內容：#flink export FLINK_HOME=/training/flink-1.10.1 export PATH=$PATH:$FLINK_HOME/bin # 配置Hadoop組態檔所在目錄，防止找不到Hadoop配置 export HADOOP_CONF_DIR=/training/hadoop-2.7.3/etc/hadoop/ - 使環境變數生效，執行：
source ~/.bash_profile - 進入flink安裝目錄下，編輯
/training/flink-1.10.1/conf/flink-conf.yaml檔案,修改如下內容：#common 部分只需要修改如下選項，其中hadoop002為主節點 jobmanager.rpc.address: hadoop002 taskmanager.numberOfTaskSlots: 3 # 改成3，可不改 parallelism.default: 3 #改成3，可不改 # High Availability high-availability: zookeeper # ns1為hadoop HA的名稱 high-availability.storageDir: hdfs://ns1/ha/ high-availability.zookeeper.quorum: hadoop002:2181,hadoop003:2181,hadoop004:2181 # 其他暫時默認即可 - 進入flink安裝目錄下，編輯
/training/flink-1.10.1/conf/masters檔案,修改如下內容:hadoop002:8081 hadoop003:8081 - 進入flink安裝目錄下，編輯
/training/flink-1.10.1/conf/slaves檔案,修改如下內容:hadoop004 hadoop005 hadoop006 - 進入flink安裝目錄下，編輯
/training/flink-1.10.1/conf/zoo.cfg檔案,需要修改如下內容:# ZooKeeper quorum peers server.1=hadoop002:2888:3888 server.2=hadoop003:2888:3888 server.3=hadoop004:2888:3888 - 將下載好的依賴flink-shaded-hadoop-2-uber-2.7.5-10.0.jar上傳到flink安裝目錄下的lib目錄中
- 然后將整個flink安裝目錄拷貝到其他節點中，可以執行如下命令：
scp -r /training/flink-1.10.1 root@hadoop003:/training scp -r /training/flink-1.10.1 root@hadoop004:/training scp -r /training/flink-1.10.1 root@hadoop005:/training scp -r /training/flink-1.10.1 root@hadoop006:/training - 啟動集群（在hadoop002上），執行：start-cluster.sh
- 成功后檢查下行程：
主節點：StandaloneSessionClusterEntrypoint
從節點：TaskManagerRunner - 打開網頁查看，訪問埠為8081,兩個主節點都會看到如下資訊：
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/437986.html
標籤：其他
上一篇：淘寶分布式檔案系統核心儲存引擎架構總結(TFS系統)
下一篇：專案實戰——引數配置化Spark將Hive表的資料寫入需要用戶名密碼認證的ElasticSearch（Java版本）