Linux基礎環境搭建（CentOS7）- 安裝Hadoop

1 Hadoop下載及安裝

Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎，對Hadoop基礎知識的掌握的扎實程度，會決定在大資料技術道路上走多遠，

Hadoop的下載

Hadoop下載鏈接：https://pan.baidu.com/s/1q7Z6HLHJbq-HNjzVqljCNQ

提取碼：h5bv

將下載的安裝包通過Xftp傳輸到Linux虛擬機中

Hadoop的安裝

創建作業路徑/usr/hadoop，下載相應軟體，解壓至作業路徑，

mkdir /usr/hadoop		#首先在根目錄下建立作業路徑/usr/hadoop
cd /opt/software		#進入安裝包的檔案夾
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop

2 配置Hadoop環境變數（3臺）

vim /etc/profile

添加如下內容：

 #HADOOP
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile		#使profile生效

3 配置hadoop各組件（組態檔建議直接復制粘貼，防止搞錯）

hadoop的各個組件的都是使用XML進行配置，這些檔案存放在hadoop的etc/hadoop目錄下，

1.hadoop-env.sh

cd $HADOOP_HOME/etc/hadoop
vim hadoop-env.sh

輸入以下內容，修改java環境變數：

export JAVA_HOME=/usr/java/jdk1.8.0_171

鍵入“Esc”，退出編輯模式，使用命令“:wq”進行保存退出，

2.core-site.xml

vim core-site.xml

<configuration>
<property>
  <name>fs.default.name</name>
   <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
  <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
  <name>fs.checkpoint.period</name>
   <value>60</value>
</property>
<property>
  <name>fs.checkpoint.size</name>
   <value>67108864</value>
</property>
</configuration>

master：在主節點的ip或者映射名，

9000：主節點和從節點配置的埠都是9000，

3.mapred-site.xml

hadoop是沒有這個檔案的，需要將mapred-site.xml.template樣本檔案復制為mapred-site.xml，對其進行編輯：

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>
<property>
<!--指定Mapreduce運行在yarn上-->
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

4.yarn-site.xml

vim yarn-site.xml

<configuration>
<!-- 指定ResourceManager的地址-->
<property>
 <name>yarn.resourcemanager.address</name>
   <value>master:18040</value>
 </property>
 <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master:18030</value>
 </property>
 <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master:18088</value>
 </property>
 <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master:18025</value>
 </property>
 <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
 </property>
<!-- 指定reducer獲取資料的方式-->
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
</configuration>

5.hdfs.site.xml

vim hdfs-site.xml

<configuration>
<property>
 <name>dfs.replication</name>
   <value>2</value>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
   <final>true</final>
</property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
   <final>true</final>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
   <value>master:9001</value>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
 </property>
</configuration>

dfs.replication：因為hadoop是具有可靠性的，它會備份多個文本，這里value就是指備份的數量（小于等于從節點的數量），

6.slaves & master

撰寫slaves檔案，添加子節點slave1和slave2；

vim slaves

撰寫master檔案，添加主節點master，

vim master

7 同步其他虛擬機

分發profile檔案，hadoop檔案到slave1和slave2節點上

scp -r /etc/profile root@slave1:/etc/profile	#將環境變數profile檔案分發到slave1節點
scp -r /etc/profile root@slave2:/etc/profile	#將環境變數profile檔案分發到slave2節點
scp -r /usr/hadoop root@slave1:/usr/			#將hadoop檔案分發到slave1節點
scp -r /usr/hadoop root@slave2:/usr/			#將hadoop檔案分發到slave2節點

生效兩個從節點的環境變數

source /etc/profile		#slave1和slave2都要執行

8 格式化hadoop (僅在master中進行操作)

首先查看jps是否啟動hadoop，若無才可格式化

hadoop namenode -format

當出現“Exiting with status 0”的時候，表明格式化成功，

9 開啟hadoop集群

僅在master主機上開啟操作命令，它會帶起從節點的啟動，（僅在master中進行操作）

cd /usr/hadoop/hadoop-2.7.3		#回到hadoop目錄
sbin/start-all.sh		#主節點開啟服務

master

slave1

slave2

注意各個節點的行程區別！
如果各個節點的行程如上，那么你的hadoop完全分布式搭建完成！