一、scala安裝
1. 安裝jdk
有mac專用的jdk安裝包，這里下載安裝jdk1.8
2. 安裝scala
2.1下載scala
2.2解壓到指定目錄
tar -zxvf /Users/lodestar/Desktop/臨時/scala-2.12.15.tar -C /Users/lodestar/software
2.3環境變數配置
vi ./bash_profile
我本機裝過python和maven，這里再加入scala配置
PATH="/Library/Frameworks/Python.framework/Versions/3.7/bin:${PATH}"
export PATH
export M2_HOME=/Library/apache-maven-3.6.3
export PATH=$PATH:$M2_HOME/bin
export SCALA_HOME=/Users/lodestar/software/scala-2.12.15
export PATH=$SCALA_HOME/bin:$PATH
保存退出
source .bash_profile讓配置生效
echo $SCALA_HOME 驗證配置是否生效
2.4.執行./scala進入控制臺
2.5 撰寫，編譯執行scala代碼
檔案后綴.scala；編譯：scalac Helloworld.scala
3.Hadoop安裝
3.1下載后解壓到指定目錄
tar -zxvf /Users/lodestar/Desktop/臨時/hadoop-2.8.5.tar.gz -C /Users/lodestar/hadoop
hadoop目錄結構如下：
bin：客戶端工具
sbin：啟動hadoop相關行程的腳本
etc/hoadoop：hadoop組態檔
share：常用例子
3.2 hadoop引數配置
vi ./bash_profile
export HADOOP_HOME=/Users/lodestar/hadoop/hadoop-2.8.5
export PATH=$HADOOP_HOME/bin:$PATH
export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
export PATH=$JAVA_HOME/bin:$PATH
hadoop-env.sh
export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/Users/lodestar/hadoop/tmp</value>
</property>
slaves
hadoop000
3.4.ssh免密碼登錄，否則啟動hadoop需要不斷輸入密碼
--hadoop用戶操作
ssh localhost --產生.ssh的隱藏目錄
ssh-keygen -t rsa --產生密鑰對（1路回車）
cat id_rsa.pub >> authorized_keys --講公鑰寫入authorized_keys
chmod 600 authorized_keys --authorized_keys 只有創建者有讀寫權限
ssh localhost 測驗，不需要密碼配置成功
3.5 初始化檔案系統
第一次啟動前格式化檔案系統
hdfs namenode -format
3.6 啟動hadoop
進入sbin目錄：
啟動Start-dfs.sh
關閉stop-dfs.sh
3.7驗證
Jps命令查詢看到namenode和datanode行程
測驗一下：
hadoop fs -ls /
hadoop fs -put README.txt /
進入瀏覽器查看hdfs狀態
http://localhost:50070/
4 Spark安裝和配置
4.1、Spark安裝
tar xvf /Users/lodestar/Desktop/臨時/spark-3.0.3-bin-hadoop2.7.tar -C /Users/lodestar/spark
4.2、Spark配置
1.配置環境變數
修改~/.bash_profile
export SPARK_HOME=/Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
使得配置修改生效:source .bash_profile
2.修改組態檔spark-env.sh
1.修改conf下的spark-env.sh.template為spark-env.sh
cp spark-env.sh.template spark-env.sh
2:修改配置
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
export SCALA_HOME=/Users/lodestar/software/scala-2.12.15
export SPARK_HOME=/Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7
#SPRAK MASTER地址
export SPARK_MASTER_IP=127.0.0.1
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_EXECUTOR_MEMORY=500M
export SPARK_WORKER_MEMORY=1G
#spark master UI地址
export master=spark://127.0.0.1:7070
3.修改組態檔slaves
1.修改conf下的spark-env.sh.template為spark-env.sh
cp slaves.template slaves
echo “localhost” >> slaves
4.啟動spark
./start-all.sh
使用jps查看，master上會有Master和Worker，worker節點上會有Worker
http://localhost:8080查看spark的web界面
5.執行spark提供的默認demo
spark-submit --class org.apache.spark.examples.SparkPi --master spark://lodestardembp-2:7077 /Users/lodestar/spark/spark-3.0.3-bin-hadoop2.7/examples/jars/spark-examples_2.12-3.0.3.jar
--這里以前寫的是localhos:7077，始終不能正常決議，后面換成spark web ui上的機器名
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/428538.html
標籤：大數據