一，基礎環境
1、主機名配置
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
vim /etc/hosts
192.168.137.128 node1
192.168.137.129 node2
192.168.137.130 node3
2、安裝JDK
tar zxf /root/jdk1.8.0_101.tar.gz -C /data/
echo 'export PATH=$PATH:/data/jdk1.8.0_101/bin' >>/etc/profile
source /etc/profile
3、配置SSH無密碼登陸(三臺服務器都需要免密)
ssh-keygen
ssh-copy-id -i id_rsa.pub root@node1
二、安裝Hadoop2.7.2
1、安裝（首先在node1上安裝）
mkdir /data/hadoop
mkdir -p /data/hadoop/hdfs
tar zxf hadoop-2.7.2.tar.gz -C /data/hadoop/
#設定環境變數
#vim /etc/profile
export HADOOP_HOME=/data/hadoop/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
#使環境變數生效
source /etc/profile
2、配置
（1）配置hadoop-env.sh
cd /data/hadoop/hadoop-2.7.2/etc/hadoop
export JAVA_HOME=/data/jdk1.8.0_101
（2）配置yarn-env.sh
export JAVA_HOME=/data/jdk1.8.0_101
（3）配置core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://node1:9000</value>
<description>HDFS的URI，檔案系統://namenode標識:埠號</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
<description>namenode上本地的hadoop臨時檔案夾</description>
</property>
</configuration>
（4）配置hdfs-site.xml
<configuration>
<!-- 設定namenode的http通訊地址 -->
<property>
<name>dfs.namenode.http-address</name>
<value>node1:50070</value>
</property>
<!-- 設定secondarynamenode的http通訊地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node1:50090</value>
</property>
<!-- 設定namenode存放的路徑 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
</property>
<!-- 設定hdfs副本數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 設定datanode存放的路徑 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
</property>
</configuration>
（5）配置mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
（6）配置yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
</configuration>
（7）配置slaves檔案
vim $HADOOP_HOME/etc/hadoop/slaves
node2
node3
到此node1節點配置完成，node2、node3節點與node1節點配置一致，只需在node2和node3上將上述操作重復一遍即可，推薦直接將配置好的安裝目錄和環境變數復制一份到其他兩個節點，
scp -r hadoop/ root@node2:/data
scp -r hadoop/ root@node3:/data
3、啟動（node1上執行）
（1）格式化namenode(只需第一次啟動時執行)
hdfs namenode -format
（2）啟動NameNode 和 DataNode 守護行程
sbin/start-dfs.sh
（3）啟動驗證
#執行jps命令，有如下行程，說明Hadoop正常啟動
15698 Jps
15581 SecondaryNameNode
15406 NameNode
（4）啟動成功后可在瀏覽器輸入 http://192.168.137.128:50070 查看hdfs詳情
（5）啟動ResourceManager 和 NodeManager 守護行程
./start-yarn.sh
（6）在瀏覽器中輸入：http://192.168.137.128:8088/ 即可看到YARN的ResourceManager的界面
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/404093.html
標籤：其他