一、安裝scala
https://pan.baidu.com/s/1ukmh35rxG6_60DEf-IifPQ
提取碼：c3p0
1.下載 scala 安裝包并上傳到 Linux 上
2.解壓安裝包到指定位置
tar -zxvf scala-2.11.8.tgz -C /opt/moudle并修改名字：
mv scala-2.11.8.tgz scala3.修改環境變數：vim /etc/profile 并添加
export SCALA_HOME=/opt/scala
export PATH=$PATH:$SCALA_HOME/bin 保存退出，并重繪修改檔案 source /etc/profile
4.驗證是否安裝成功：在命令列輸入 scala
二、安裝spark
https://pan.baidu.com/s/1wguRsOu3OcPH50Y3c_SX4g
提取碼：c3p0
1.下載并解壓 spark 安裝包到指定位置
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/moudle2.配置環境變數：vim /etc/profile 并添加
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin保存退出，并重繪修改檔案 source /etc/profile
3.進入spark的coonf目錄下復制 env.sh.template 檔案并重命名
cp spark-env.sh.template spark-env.sh 打開 vim spark-env.sh并在末尾添加：
export JAVA_HOME=/opt/jdk1.8.0_144
export SCALA_HOME=/opt/scala
export SPARK_MASTER_IP=gz01
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMOERY=2g
export HADOOP_HOME=/opt/hadoop-2.5.1_x64_0/etc/hadoop保存并退出
4.進入conf 目錄下并編輯 vim slaves.template ，添加主機名(worker節點), 保存并退出
gz01
gz02
gz035.將配置好的Spark拷貝到其他節點上，記得配置環境變數和更改組態檔中的一些細節
scp -r spark/ gz02:/opt/moudle
scp -r spark/ gz03:/opt/moudle6.啟動hadoop集群 start-all.sh
7.在spark的sbin目錄下執行 ./start-all.sh 啟動spark
jps出現：Master 和 Worker
則成功并且可以在瀏覽器訪問 gz01:8080 登錄Spark 管理界面查看集群狀態
8.進入spark 的 bin 目錄 ，使用 spark-shell 控制臺 ? 并可以通過 gz01:4040 從web角度看SparkUI的情況
三、使用spark-submit 提交 jar包命令
在命令列輸入：
/opt/spark/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://gz01:7077 --executor-memory 512m --total-executor-cores 1 /opt/spark/examples/jars/spark-examples_2.11-2.0.2.jar 轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/296519.html
標籤：其他