前言
接Hadoop基礎搭建博文，
在搭建完基礎環境之后，接下來就可以安裝Hadoop集群了，這里就不在搭建偽分布式Hadoop了，
安裝完全分布式Hadoop集群
1、創建Hadoop作業路徑,并進入到該檔案夾，并下載或上傳Hadoop 的安裝包
mkdir /usr/hadoop/
2、這里使用從本地上傳，完畢后解壓安裝包
tar -zxvf 安裝包檔案名
3、配置環境變數（三臺機子都要操作）
#HADOOP
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${PATH}
4、進入Hadoop存放組態檔的地方
cd $HADOOP_HOME/etc/hadoop
- 配置hadoop-env.sh的jdk環境變數，添加以下內容
export JAVA_HOME=/usr/java/jdk1.8.0_212
- 配置core-site.xml檔案
vim core-site.xml
添加以下內容（在<configuration里面添加）
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>60</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
- 配置hdfs-site.xml檔案
vim hdfs-site.xml
添加以下內容
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
- 配置yarn-site.xml檔案
vim yarn-site.xml
添加以下內容
<!-- 指定ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<!-- 指定reducer獲取資料的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
- 配置mapred-site.xml
vim mapred-site.xml
添加以下內容
<configuration>
<!-- 指定MR運行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 配置slaves檔案（此檔案不能有空格和空行）
vim slaves
master
slave1
slave2
5、配置完成后發送到各節點
scp -r /usr/hadoop/ slave1:/usr/
scp -r /usr/hadoop/ slave2:/usr/
記得生效環境變數
6、格式化集群（在master上執行）
hadoop namenode -format
結果如下則為成功
7、最后啟動集群
start-all.sh
至此，完全分布式集群搭建完畢，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/295351.html
標籤：其他
下一篇：Java面試題