一、scala的安裝與配置
1.scala的下載
下載地址為：scala下載地址
2.scala的安裝與配置
（1）安裝包的解壓
tar -zxvf scala-2.12.14.tgz
mv scala-2.12.14 /export/software/
（2）環境變數的配置
在命令列中輸入如下命令，打開profile組態檔
vi /etc/profile
打開profile檔案后在檔案末尾加入如下配置陳述句：
然后再命令列中輸入source/etc/profile使環境變數生效，
在命令列輸入scala，能進入scala命令列說明安裝成功.
注意！：退出Scala的命令為 :quit
二、spark的安裝與配置
1.spark的下載
下載地址為：spark下載地址
下載對應的Hadoop版本的spark，這里我的Hadoop版本為
2.4.1，因此如圖選擇對應的版本，
2.spark的安裝與配置
和Scala的安裝與配置一樣，先進行解壓，然后打開profie檔案配置環境變數，
3.配置conf/spark-env.sh 檔案
進入到conf目錄下會發現spark-env.sh為臨時檔案，須重命名為spark-env.sh
執行如下命令：
mv spark-env.sh.template spark-env.sh
在檔案中加入如下內容：
export SCALA_HOME=/export/software/scala-2.12.14
export JAVA_HOME=/export/software/jdk1.8.0_161
export SPARK_WORK_MEMORY=4g
export SPARK_MASTER_IP=master
export MASTER=spark://master:7077
引數解釋：
- SPARK_WORK_MEMORY 決定在每一個Worker節點上可用的最大記憶體，增加這個數可以在記憶體中快取更多資料，但一定要給Slave的作業系統和其他服務預留足夠記憶體
- SPARK_MASTER_IP 引數可以是具體的IP地址也可以是hostname，系統會更具hosts檔案進行決議
- MASTER 配置埠號
PS：SPARK_MASTER_IP和MASTER必須配置否則會造成Slave無法注冊主機錯誤
配置conf/slaves 檔案 將節點的主機名加入到slaves檔案中
slave1
slave2
4.啟動Spark集群
在啟動前，將scala檔案、spark檔案以及etc目錄下的profile檔案傳給slave1和slave2，并在slave1和slave2命令列中輸入source/etc/profile使環境變數生效
進入spark目錄下，輸入如下命令：
sbin/start-all.sh
如上圖所示說明啟動成功，這時候分別在三個節點上通過jps查看行程，則如下圖所示：
至此spark的安裝結束，也已成功啟動，如需停止，輸入如下命令：
sbin/stop-all.sh
5.配置HistoryServer
（1）默認情況下，Spark程式運行完畢后，就無法再查看運行記錄的WebUI，通過HistoryServer可以提供一個服務，通過讀取日志檔案，使得我們可以在程式運行結束后，依然能夠查看運行程序，
（2）復制spark-defaults.conf,以供修改
cd /export/software/spark-2.1.0/conf
mv spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf
（3）將以下內容復制到spark-default.conf末尾處，通過這段配置，可以指定spark將日志輸入到HDFS中
spark.eventLog.enabled true
//日志的存盤路徑
spark.eventLog.dir hdfs://master:8020/spark_log
//日志是否壓縮
spark.eventLog.compress true
（4）將以下內容復制到spark-env.sh的末尾，配置HistoryServer啟動引數，使得HistoryServer在啟動的時候讀取HDFS中寫入的spark日志
//指定HIstoryServer運行引數
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://master:9000/history"
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/290822.html
標籤：其他
上一篇：今年新版面試題及答案（上個月朋友面試成功后留下的題目）
下一篇：hadoop常用的腳本