系列文章
全國大學生大資料技能競賽（Hadoop集群搭建）
全國大學生大資料技能競賽（數倉部署）
文章目錄
- 系列文章
- 前言
- 資料鏈接
- Spark on Yarn安裝
- 3.1安裝Scala
- 3.2安裝Spark
前言
本篇博客根據往年全國大學生大資料技能競賽資料搭建，每一個步驟都有相應的執行的截圖，以下博客僅作為個人搭建程序的記錄~如有不足之處歡迎指出，共同學習進步，附上資料鏈接，
資料鏈接
青椒課堂（紅亞）網站鏈接：
https://www.qingjiaoclass.com/login
所有環境工具百度網盤鏈接：
https://pan.baidu.com/s/1oOW7WqHK4fiqv4Xja5f7gQ
提取碼:vvi7
Spark on Yarn安裝
3.1安裝Scala
1.把Scala的jar包上傳到master的目錄下，創建作業路徑并解壓Scala到作業路徑下
mkdir -p /usr/scala/
tar -zxvf scala-2.11.12.tgz -C /usr/scala/
等待執行完畢
2.配置環境變數（三臺虛擬機）
vi /etc/profile
添加
#set scala
export SCALA_HOME=/usr/scala/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH
source /etc/profile
3.查看是否安裝成功
scala -version
4.復制 scala 到子節點
scp -r /usr/scala root@slave1:/usr/
scp -r /usr/scala root@slave2:/usr/
5.分別切換 slave1 和 slave2 節點，檢測 scala 環境是否安裝成功
scala -version
3.2安裝Spark
1.把spark的jar包上傳到master的目錄下，創建作業路徑并解壓spark到作業路徑下
mkdir -p /usr/spark/
tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/spark/
2.編輯spark-env.sh
cd /usr/spark/spark-2.4.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
添加
export SPARK_MASTER_IP=master
export SCALA_HOME=/usr/scala/scala-2.11.12
export SPARK_WORKER_MEMORY=8g
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.3/etc/Hadoop
3.配置spark從節點，修改slaves檔案
cp slaves.template slaves
vi slaves
修改最后一行
slave1
slave2
4.配置環境變數（三臺虛擬機）
vi /etc/profile
添加
export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
然后
source /etc/profile
5.分發子節點
scp -r /usr/spark root@slave1:/usr/
scp -r /usr/spark root@slave2:/usr/
6.測驗運行環境（只在master節點執行）
開啟Hadoop
/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
開啟spark集群
/usr/spark/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh
7.三個節點分別輸入jps查看行程
jps
三個節點分別出現以下標志即成功
8.訪問spark web界面
瀏覽器輸入
master節點IP：8080
出現以下界面即成功
9.開啟spark-shell
spark-shell
可輸入命令測驗
println("Hello world")
10.輸入pyspark測驗python環境spark互動模式
pyspark
輸入quit()可退出
結束結束結束~~
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/296527.html
標籤：其他
上一篇：《大學兩年的摸爬滾打：新征程》