---恢復內容開始---
1.CentOS主機配置
在配置Hadoop程序中，防火墻必須優先關閉SELinux，否則將影響后續Hadoop配置與使用，命令如下：
# 查看 “系統防火墻” 狀態命令
systemctl status firewalld.service
# 關閉 “系統防火墻” 命令
systemctl stop firewalld.service
# 關閉 “系統防火墻” 自啟動命令
systemctl disable firewalld.service
# 關閉 “SELinux”命令
setenforce 0
# 關閉“SELinux”系統系統自啟動服務
vi /etc/selinux/config
# 修改內容
SELINUX=disabled
（1）執行圖結果如下：
（2）上圖的防火墻處于運行狀態，現在關閉防火墻，如下圖：
（3）關閉防火墻后，因為重啟服務器防火墻會自動重啟，關閉系統自啟動命令如下：
# systemctl firewalld.service
2.設定主機名稱
（1）使用vi編譯器編譯 #vi /etc/sysconfig/network,修改其內容：
# 修改為：
NETWORKING=yes
HOSTNAME=master
（2）修改主機名，進入#vi /etc/hostname里修改內容：
# 修改為： master
3.配置hosts檔案
（1）編譯#vi /etc/hosts添加內容，不用去掉原先內容：
#添加內容
192.168.56.110 master
（2）192.168.56.110為IP地址，
4.驗證配置結果
(1)重啟后主機為master，
# 重啟系統命令
reboot now
（2）在終端輸入命令 #ping master -c 5查看是否成功，
5.JavaJDK環境配置
（1）上傳JDK檔案，使用xftp將jdk傳到/opt目錄下，如圖：
（2）解壓縮JDK安裝包
進入/opt 目錄并解 壓 縮 文 件 #tar -zxvf /opt/jdk-8u162-linux-x64.tar.gz
（3）移動 javaJDK 目錄至/usr/local/java 中 ，其環境變數地址與Java目錄一致
#mv /opt/jdk1.8.0_162 /usr/local/java
（4）配置環境變數
編輯 .bash_profile 檔案 ：
#vi /root/.bash_profile
添加內容 ：
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
使環境變數生效：
#source /root/.bash_profile
（5）驗證JDK配置是否成功，使用# java -version，結果如下：
6.Hadoop安裝與配置
（1）使用xftp將Hadoop軟體包上傳至/opt下，如圖：
（2）解壓Hadoop
上傳完成后，解壓縮檔案 #tar -zxvf /opt/hadoop-2.7.5.tar.gz
修改 hadoop-2.7.6-src 目錄名稱為 hadoop
#mv /opt/hadoop-2.7.5 /opt/hadoo
（3）配置環境變數
編輯 .bash_profile 檔案：
#vi /root/.bash_profile
添加內容 ：
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
（4）添加完成后，輸入命令 #source /root/.bash_profile 使環境變數生效，
7.配置其檔案
（1）配置core-site.xml 檔案
#vi /opt/hadoop/etc/hadoop/core-site.xml
配置其內容：
在<configuration>補充區域</configuration>中間補充
補充內容，如下
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoopdata</value>
</property>
（2）組態檔系統hdfs-site.xml
# vi /opt/hadoop/etc/hadoop/hdfs-site.xml
配置內容如下 ：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
（3）配置資源管理器yarn-site.xml
#vi /opt/hadoop/etc/hadoop/yarn-site.xml
補充內容：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
（4）配置添加計算框架mapred-site.xml
復制檔案
#cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapredsite.xml
編輯檔案
#vi /opt/hadoop/etc/hadoop/mapred-site.xml
配置內容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
（5）創建資料檔案
創建檔案
#mkdir /opt/hadoop/hadoopdata
格式化檔案系統
#hadoop namenode -format
8.設定SSH網路
（1）ssh-keygen免密登陸設定，輸入命令鍵回車三次
生成免登入密匙 #ssh-keygen -t rsa
（2）為 master 發送免登入密匙 #ssh-copy-id -i ~/.ssh/id_rsa [email protected]
注意：輸入 yes 回車 yes
輸入密碼 ，密碼為xshell密碼，
（3）ssh 連接 master
#ssh master
（4）直接輸入 JavaJDK 物理路徑
組態檔
# vi /opt/hadoop/etc/hadoop/hadoop-env.sh
內容為 JAVA 路徑 ：
export JAVA_HOME=/usr/local/java
9.啟動Hadoop
（1）開啟命令 #start-all.sh
停止命令 #stop-all.sh
（2）驗證配置是否成功
查看 Hadoop 行程
# jps
（3）計算PI，看Hadoop是否運行的起
Hadoop 運行 jar 包命令
# hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.j ar pi 10 10
10.多節點配置Hadoop
（1） 編輯檔案
#vi /opt/hadoop/etc/hadoop/slaves
內容 ：
slave1
slave2
（2）配置hosts主機檔案
#vi /etc/hosts
添加內容
192.168.56.111 slave1
192.168.56.112 slave2
（3）虛擬機克隆IP地址
（4）修改克隆主機名
#slave1
NETWORKING=yes
HOSTNAME=slave1
#slave2
NETWORKING=yes
HOSTNAME=slave2
組態檔
#/etc/sysconfig/hostname
修改檔案 slave1
修改檔案 slave2
（5）配置三臺機子免密登陸
ssh-copy-id -i ~/.ssh/id_rsa root@master
ssh-copy-id -i ~/.ssh/id_rsa root@slave1
ssh-copy-id -i ~/.ssh/id_rsa root@slave2
---恢復內容結束---
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/46512.html
標籤：大數據
上一篇：手工建庫執行腳本