前言
本文隸屬于專欄《大資料安裝部署方案匯總》，該專欄為筆者原創，參考請注明來源，不足和錯誤之處請在評論區幫忙指出，謝謝！
本專欄目錄結構和參考文獻請見 大資料安裝部署方案匯總
正文
1、下載安裝包
官方下載地址
CSDN 下載地址
2、規劃安裝目錄
- /opt/bigdata
3、上傳安裝包到服務器
4、解壓安裝包到指定的安裝目錄
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /opt/bigdata
5、重命名解壓目錄
mv spark-2.3.3-bin-hadoop2.7 spark
6、修改組態檔
- 進入到spark的安裝目錄下對應的conf檔案夾
vim spark-env.sh ( mv spark-env.sh.template spark-env.sh)
#配置java的環境變數
export JAVA_HOME=/opt/bigdata/jdk
#配置zk相關資訊
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark"
vim slaves ( mv slaves.template salves)
#指定spark集群的worker節點
node2
node3
7、分發安裝目錄到其他機器
scp -r spark node2:/opt/bigdata
scp -r spark node3:/opt/bigdata
8、修改spark環境變數
vim /etc/profile
export SPARK_HOME=/opt/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
9、分發spark環境變數到其他機器
scp /etc/profile node2:/etc
scp /etc/profile node3:/etc
10、讓所有機器的spark環境變數生效
- 在所有節點執行
source /etc/profile
補充
Spark 集群的啟動和停止
啟動
- 1、先啟動 ZK（Master HA）
- 2、啟動 Spark 集群
- 可以在任意一臺服務器來執行（條件：需要任意2臺機器之間實作ssh免密登錄）
$SPARK_HOME/sbin/start-all.sh
- 在哪里啟動這個腳本，就在當前該機器啟動一個Master行程
- 整個集群的worker行程的啟動由slaves檔案
- 后期可以在其他機器單獨在啟動master
$SPARK_HOME/sbin/start-master.sh
停止
- 在處于active Master主節點執行
$SPARK_HOME/sbin/stop-all.sh
- 在處于standBy Master主節點執行
$SPARK_HOME/sbin/stop-master.sh
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/319665.html
標籤：其他
下一篇：Spark 例外問題匯總