centos7安裝hadoop集群（親測可用）

環境準備

1、hadoop集群

2、軟體版本
centos7：CentOS-7-x86_64-DVD-1708.iso 下載地址
hadoop：hadoop-2.9.2.tar.gz 下載地址
jdk：jdk-8u311-linux-x64.tar.gz 下載地址
虛擬機：VMware? Workstation 16 Pro

開始安裝

一）準備三臺虛擬機，ip地址即hostname如上所示

二）修改hostname（分別改成master、slave1、slave2）
[root@master ~]# vim /etc/hostname

master

重啟 修改完hostname重啟生效

[root@master ~]#reboot

三）在hosts檔案末尾添加如下欄位(master、slave1、slave2同樣執行如下操作)
[root@master ~]# vim /etc/hosts

192.168.46.22 master
192.168.46.23 slave1
192.168.46.24 slave2

四）免密登錄
[root@master ~]# ssh-keygen -t rsa #不輸入密碼，一路回車

[root@master ~]# ssh-copy-id slave1
[root@master ~]# ssh-copy-id slave2

#測驗連通性，所有節點執行

[root@master ~]# ssh slave1
[root@master ~]# ssh slave2
[root@master ~]# ssh master

五）安裝jdk（三個節點都需要安裝）
1、將jdk放在 /opt/jdk 下并解壓

[root@master jdk]# tar -zxvf  jdk-8u311-linux-x64.tar.gz

2、設定環境變數，在末尾添加如下欄位

[root@master ~]# vim /etc/profile

export JAVA_HOME=/opt/jdk/jdk1.8.0_311
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3、重繪環境變數，使其生效

[root@master jdk]# source /etc/profile

六）安裝hadoop（三個節點都安裝）
1、創建幾個必要目錄

[root@master jdk]# mkdir  /root/hadoop
[root@master jdk]# mkdir  /root/hadoop/tmp
[root@master jdk]# mkdir  /root/hadoop/var
[root@master jdk]# mkdir  /root/hadoop/dfs
[root@master jdk]# mkdir  /root/hadoop/dfs/name
[root@master jdk]# mkdir  /root/hadoop/dfs/data

2、將hadoop-2.9.2.tar.gz 放在 /opt/hadoop 檔案夾下
#解壓

tar -zxvf hadoop-2.9.2.tar.gz

3、逐一修改組態檔，在如下目錄

[root@master ~]# cd /opt/hadoop/hadoop-2.9.2/etc/hadoop
[root@master hadoop]# pwd
/opt/hadoop/hadoop-2.9.2/etc/hadoop

4、修改core-site.xml，添加如下配置

[root@master hadoop]# vim core-site.xml

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

5、修改hadoop-env.sh，將JAVA_HOME改成如下欄位

export JAVA_HOME=/opt/jdk/jdk1.8.0_311

6、修改 hdfs-site.xml，添加如下欄位

[root@master hadoop]# vim hdfs-site.xml

<configuration>
<property>
   <name>dfs.name.dir</name>
   <value>file:///root/hadoop/dfs/name</value>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>file:///root/hadoop/dfs/data</value>
</property>

<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>

<property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
<property>
  <name>dfs.safemode.threshold.pct</name>
  <value>0.999f</value>
</property>
<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
<property>
        <name>dfs.nameservices</name>
        <value>lisy-cluster</value>
    </property>
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
 </property>
</configuration>

7、修改mapred-site.xml，由于源檔案中沒有所以先復制出來一個

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@master hadoop]# vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <final>true</final>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>

    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>master:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
    <property>
        <name>mapred.job.tracker</name>
        <value>http://master:9001</value>
    </property>

</configuration>

8、修改slaves檔案 注意（slave1、slave2此檔案為空即可）
洗掉原有檔案替換成如下欄位

[root@master hadoop]# vim slaves

master
slave1
slave2

9、在 /opt/hadoop/hadoop-2.9.2/sbin/start-yarn.sh 檔案末尾增加如下欄位
作用：看日志

"$bin"/mr-jobhistory-daemon.sh start historyserver

10、將hadoop 添加到環境變數，在末尾添加如下欄位

[root@master ~]# vim /etc/profile

export PATH=$PATH:/opt/hadoop/hadoop-2.9.2/bin

[root@master jdk]# source /etc/profile

啟動Hadoop

1、初始化namenode

hadoop  namenode  -format

2、啟動hadoop

[root@master ~]# cd /opt/hadoop/hadoop-2.9.2/sbin
[root@master sbin]# ./start-all.sh

3、觀測是否啟動成功，存在如下行程則表示運行正常

[root@master sbin]# jps
37728 ResourceManager
37908 NodeManager
18022 JobHistoryServer
37494 DataNode
37353 NameNode
40157 Jps

4、打開網址查看檔案系統和集群
http://192.168.46.22:50070/ 查看hdfs檔案
http://192.168.46.22:8088/cluster 查看map任務log

查看集群mr日志