Spark 完全分布式集群搭建程序及啟動程序-有解無憂

宣告

1）該文章整理自網上的大牛和專家無私奉獻的資料，具體參考的資料請看參考文獻，
2）本文僅供學術交流，非商用，如果某部分不小心侵犯了大家的利益，還望海涵，并聯系博主洗掉，
3）博主才疏學淺，文中如有不當之處，請各位指出，共同進步，謝謝，
4）此屬于第一版本，若有錯誤，還需繼續修正與增刪，還望大家多多指點，大家都共享一點點，一起為祖國科研的推進添磚加瓦，

一：實驗環境

 1 1.1 服務器上啟動三臺虛擬機
 2 root@master  11.24.24.111  master
 3 root@slave1  11.24.24.112  slave1
 4 root@slave2  11.24.24.113   slave2
 5 
 6 
 7 1.2 軟體版本：
 8 hadoop-2.7.6 + spark-3.0.0 + Scala2.13.2
 9 
10 修改主機名和hosts
11 1.1 更改主機名
12 root@master:~$ sudo vim /etc/hostname
13 改成master //其他兩個分別改為slave1 和slave2
14 注意：主機名全部以小寫字母開頭，后文在配置環境時注意不要誤用大寫！
15 
16 1.2 修改hosts
17 root@master:~# sudo vim /etc/hosts
18 修改hosts  需要將注釋的所有127.0.0.1以及locahost 取消注釋！！！！不然子節點無法啟動
19 //將原檔案（127.0.0.0 localhost）下面添加以下資訊：
20 11.24.24.111  master
21 11.24.24.112  slave1
22 11.24.24.113   slave2
23 
24 //退出后重啟虛擬機
25 root@master:~# sudo reboot
26 
27 //分別對集群中的所有節點進行以上相似的設定

二：安裝基礎環境（Java和scala）

 1 對所有節點安裝java和scala
 2 
 3 2.1 Java環境搭建
 4 1）下載jdk-1.8并解壓到 /usr/local
 5 
 6 root@master:~$ sudo tar -zxvf jdk-8u251-linux-x64.tar.gz -C /usr/local/
 7 
 8 2）添加java環境變數，在/etc/profile中添加：
 9 
10 root@master:~$ sudo vim /etc/profile
11 
12 export JAVA_HOME=/usr/local/java
13 PATH=$JAVA_HOME/bin:$PATH
14 CLASSPATH=.:$JAVA_HOME/lib/rt.jar
15 export JAVA_HOME PATH CLASSPATH
16 
17 3）保存后重繪配置
18 [root@master ~]# source /etc/profile
19 
20 4）使用java -version命令確認
21 [root@master ~]# java -version
22 java version "1.8.0_251"
23 Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
24 Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)
25 
26 
27 2.2 scala環境搭建
28 1）下載scala安裝包scala2.13.2.tgz安裝到 /usr/local/
29 
30 root@master:~$ sudo tar -zxvf scala2.13.2.tgz -C /usr/local/
31 root@master:~$ mv scala2.13.2  scala
32 2）添加Scala環境變數，在/etc/profile中添加：
33 
34 root@master:~# sudo vim /etc/profile
35 
36 export SCALA_HOME=/usr/local/scala
37 export PATH=$SCALA_HOME/bin:$PATH
38 
39 3)保存后重繪
40 root@master:~# source /etc/profile
41 
42 4）使用scala -version命令確認
43 [root@master ~]# scala -version
44 
45 Scala code runner version 2.13.2 -- Copyright 2002-2020, LAMP/EPFL and Lightbend, Inc.

三：ssh無密碼驗證配置

 1 -對所有節點安裝ssh
 2 root@master:~$ sudo yum install ssh
 3 
 4 3.1 配置master無密碼登錄所有slave
 5 以下是在master節點上執行以下命令：
 6 1）在master節點上生成密碼對
 7 ubuntu@master:~$ ssh-keygen -t rsa -P ''
 8 
 9 // Enter 繼續
10 //生成的密鑰對：id_rsa和id_rsa.pub存盤在” ~/.ssh”目錄下(注意可能會不同)
11 
12 2）把id_rsa.pub追加到授權的key里面去
13 root@master:~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
14 
15 3）修改ssh組態檔”/etc/ssh/sshd_config”的下列內容
16 root@master:~$ sudo vim /etc/ssh/sshd_config
17 
18 追加以下內容：
19 RSAAuthentication yes
20 PubkeyAuthentication yes
21 AuthorizedKeysFile  %h/.ssh/authorized_keys
22 
23 
24 4) 重啟ssh服務，才能使剛才設定有效
25 root@master:~$ shutdown -r now
26 
27 5) 驗證無密碼登錄本機是否成功，
28 root@master:~$ ssh master
29 
30 注意：無密碼登錄成功后，使用Ctrl+D退出當前登錄，防止嵌套登錄
31 
32 6）把公鑰復制到所有的Slave機器上
33 root@master:~$ scp ~/.ssh/id_rsa.pub root@slave1:~/  #注意不能有空格
34 root@master:~$ scp ~/.ssh/id_rsa.pub root@slave2:~/  #注意直接放在主目錄下 
35 
36 可以到slave節點的機器中看一下 ~/.ssh/ 是否多處了一個內容id_rsa.pub
37 
38 -以下是在slave1 (11.24.24.112)節點的配置操作
39 1）將Master的公鑰追加到Slave1的授權檔案”authorized_keys”中去，
40 root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
41 
42 2) 修改”/etc/ssh/sshd_config”，具體步驟參考前面Master設定的第3步和第4步，
43 root@slave1:~/.ssh$ sudo vim /etc/ssh/sshd_config
44 
45 3）用master使用ssh無密碼登錄slave1
46 root@master:~$ ssh 11.24.24.112    或者是 ssh root@slave1
47 
48 4）把slave節點中的” ~/”目錄下的”id_rsa.pub”檔案洗掉掉，
49 root@slave1:~/.ssh$ rm -r ~/id_rsa.pub　　
50 重復上面的4個步驟把Slave2服務器進行相同的配置
51 
52 
53 3.2 配置slave無密碼登錄master
54 -以下是在slave1節點(11.24.24.112)的配置操作，
55 // 1）創建”Slave1”自己的公鑰和私鑰，并把自己的公鑰追加到”authorized_keys”檔案中，執行下面命令：
56 
57 root@slave1:~/.ssh$ ssh-keygen -t rsa -P ''
58 root@slave1:~/.ssh$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys　　
59 
60 2）將slave1節點的公鑰”id_rsa.pub”復制到Master節點的”/root/”目錄下，
61 
62 root@slave1:~/.ssh$ scp ~/.ssh/id_rsa.pub root@master:~/　　　　
63 
64 以下是在master節點的配置操作
65 1）將Slave1的公鑰追加到Master的授權檔案”authorized_keys”中去，
66 
67 root@slave1:~ $ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 　　
68 
69 2）洗掉Slave1復制過來的”id_rsa.pub”檔案，
70 
71 root@slave1:~ $ rm -r ~/id_rsa.pub 　　
72 
73 // 配置完成后測驗從Slave1到Master無密碼登錄，
74 
75 root@slave1:~ $ ssh 11.24.24.111
76 
77 按照上面的步驟把Slave2和Master之間建立起無密碼登錄，
78 - 這樣，Master能無密碼驗證登錄每個Slave，每個Slave也能無密碼驗證登錄到Master，

四：Hadoop 完全分布式搭建

-以下是在master節點上的操作
1）下載hadoop 并解壓到/opt/
root@master:~$ sudo tar -zxvf hadoop.tar.gz -C /opt/　　

2)修改組態檔，添加以下內容
root@master:~$ sudo vim /etc/profile　　

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

修改完成后執行：
root@master:~$ source /etc/profile

[root@master hadoop]# mkdir data
[root@master hadoop]# mkdir tmp
[root@master hadoop]# mkdir name

3）修改hadoop的相關配置
修改JAVA_HOME 如下：
root@master:/opt/hadoop $ sudo vim ./etc/hadoop/hadoop-env.sh

 export JAVA_HOME=/usr/local/java
 
 修改$HADOOP_HOME/etc/hadoop/slaves，將原來的localhost洗掉，改成如下內容：
 root@master:/opt/hadoop$ sudo vim ./etc/hadoop/slaves
 
 slave1
 slave2
 
 修改$HADOOP_HOME/etc/hadoop/core-site.xml
 root@master:/opt/hadoop$ sudo vim ./etc/hadoop/core-site.xml
 
 <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop/tmp</value>
     </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml
root@master:/opt/hadoop$ sudo vim ./etc/hadoop/hdfs-site.xml
<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/opt/hadoop/hdfs/data</value>
    </property>
</configuration>

復制template，生成xml，命令如下：
root@master:/opt/hadoop/etc/hadoop$ cp mapred-site.xml.template mapred-site.xml

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>master:19888</value>
  </property>
</configuration>

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml
root@master:/opt/hadoop/etc/hadoop$ sudo vim yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>master:8088</value>
     </property>
</configuration>

4）復制master節點的hadoop檔案夾到slave1和slave2上
scp -r /opt/hadoop root@slave1:/opt

5）在Slave1和Slave2上分別修改/etc/profile，(hadoop的配置資訊) 程序同master一樣
格式化HDFS [只有首次部署才可使用]【謹慎操作，只在master上操作】
root@master:~$ hadoop namenode -format

啟動集群 【只在master上操作】
root@master:~$ /opt/hadoop/sbin/start-all.sh

6）查看三臺集群是否啟動成功： jps
[root@master sbin]# jps
24673 NodeManager
30547 Jps
21081 NameNode
24331 ResourceManager
23180 SecondaryNameNode
22015 DataNode

[root@slave1 ~]# jps
8323 NodeManager
8759 Jps
8092 DataNode

[root@slave2 ~]# jps
6677 Jps
6266 DataNode
6414 NodeManager

SecondaryNameNode是NameNode的備份，本文將其都配置master節點上，（一般是配置在不同的節點上，以助于主節點掛掉的時候對它恢復）
slave1和slave2都僅作為計算節點（DataNode）
-至此hadoop的完全分布式環境搭建成功，

7)web端11.24.24.111:8088查看

五：Spark 2.1.0完全分布式環境搭建

 1 -以下操作都是在master節點進行
 2 1）下載二進制包spark-3.0.0-bin-hadoop2.7.tgz
 3 2）解壓到相應目錄
 4 root@master:~$ tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz -C /opt
 5 root@master:~$ mv /opt/spark-3.0.0-bin-hadoop2.7.tgz /opt/spark
 6 
 7 3）修改相應的組態檔
 8 修改/etc/profie，增加如下內容：
 9 
10 root@master:/opt$ sudo vim /etc/profile
11 
12 export SPARK_HOME=/opt/spark/
13 export PATH=$PATH:$SPARK_HOME/bin
14 
15 復制spark-env.sh.template成spark-env.sh
16 
17 root@master:/opt/spark/conf$ sudo cp spark-env.sh.template spark-env.sh
18 
19 修改$SPARK_HOME/conf/spark-env.sh，添加如下內容.（標注需要改為自己的版本）
20 
21 root@master:/opt/spark-2.1/conf$ sudo vim spark-env.sh
22 
23 export JAVA_HOME=/usr/local/java
24 export SCALA_HOME=/usr/local/scala
25 export HADOOP_HOME=/opt/hadoop
26 export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
27 export SPARK_MASTER_IP=11.24.24.111
28 export SPARK_MASTER_HOST=11.24.24.111
29 #export SPARK_LOCAL_IP=11.24.24.112
30 #export SPARK_LOCAL_IP=11.24.24.113
31 export SPARK_LOCAL_IP=0.0.0.0
32 export SPARK_WORKER_MEMORY=1g
33 export SPARK_WORKER_CORES=2
34 export SPARK_HOME=/opt/spark
35 export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath)
36 
37 復制slaves.template成slaves
38 root@master:/opt/spark/conf$ sudo cp slaves.template slaves
39 
40 修改$SPARK_HOME/conf/slaves，在原來的localhost下面改為如下內容：
41 root@master:/opt/spark/conf$ sudo vim slaves
42 
43 master
44 slave1
45 slave2
46 （注意，如果不洗掉之前的localhost，spark搭建完成之后，會出現多個worker）
47 
48 4）將配置好的spark檔案復制到slave1和slave2節點
49 root@master:/opt$ scp -r /opt/spark root@slave1:~   //拷貝整個目錄
50 root@master:/opt$ scp -r /opt/spark root@slave2:~
51 root@slave1:~$ sudo mv spark/ /opt
52 root@slave2:~$ sudo mv spark/ /opt
53 
54 5）修改slave1和slave2配置，
55 root@slave1:~$ sudo vim /etc/profile
56 
57 在slave1和slave2上分別修改/etc/profile，增加Spark的配置，程序同master一樣，
58 export SPARK_HOME=/opt/spark/
59 export PATH=$PATH:$SPARK_HOME/bin
60 
61 在save1和save2修改$SPARK_HOME/conf/spark-env.sh
62 root@master: $ sudo vim /opt/spark-2.1/conf/spark-env.sh
63 
64 將export SPARK_LOCAL_IP=192.168.110.XXX改成slave1和slave2對應節點的IP
65 
66 6) 在Master節點啟動集群
67 先啟動hadoop，在啟動spark
68 
69 root@master:/opt$ /opt/hadoop/sbin/start-all.sh
70 root@master:/opt$ /opt/spark/sbin/start-all.sh
71 
72 7）查看集群是否啟動成功：jps

轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/38411.html

標籤：Linux

上一篇：基于CentOS 7部署開發環境

下一篇：Linux下diff命令用法詳解