1、配置主機的IP地址(修改的檔案是:/etc/sysconfig/network-scripts/ifcfg-eno16777736)
#在末尾加上
IPADDR=192.168.20.20 #IP地址
NETMASK=255.255.255.0 #網關
GATEWAY=192.168.20.2 #網卡
DNS1=192.168.20.2 #DNS服務器
2、組態檔后重啟網路服務后生效,并查詢IP地址:
systemctl restart network # 重啟服務
ip add #查看IP地址
3、修改主機名:
hostnamectl set-hostname master #master為主機名
bash #重繪
4、配置主機的映射:(檔案在:/etc/hosts)
192.168.20.20 master #ip地址 主機名
5、關閉防火墻:
#關閉防火墻
systemctl stop firewalld
systemctl disable firewalld
#查看防火墻狀態
systemctl status firewalld
6、將Hadoop與jdk檔案解壓到指定檔案夾:
hadoop與jdk檔案放在/root/目錄下,解壓到/opt檔案夾下
#解壓到指定目錄
tar -zxvf /root/hadoop-2.7.3.tar.gz -C /opt
tar -zxvf /root/jdk1.8.0_144.tar.gz -C /opt
#查看
ll /opt
7、SSH無密碼連接本機:
# 1、生成密鑰對
ssh-keygen -t rsa
# 2、將公鑰檔案匯出傳遞給本機,注意公鑰檔案的路徑,操作是需要輸入root用戶的密碼
ssh-copy-id -i /root/.ssh/id_rsa.pub master
# 3、檢驗,用ssh命令連接本機(無需密碼)
ssh master
8、修改環境變數檔案并驗證是否配置成功(檔案在/etc/profile):
# 在檔案末尾處添加
export JAVA_HOME=/opt/jdk1.8.0_144 #配置jdk環境
export HADOOP_HOME=/opt/hadoop-2.6.0 #配置hadoop環境 PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
# 保存退出
#重繪檔案
source /etc/profile
# 查看hadoop與java是否生效,出現版本號,說明配置成功(若未查到命令,需要再次檢查/etc/profile檔案哦!!!)
hadoop version
java -version
9、配置hadoop相關檔案(檔案目錄:/opt/hadoop-2.7.3/etc/hadoop里):
(1)、core-site.xml檔案:(在<configuration></configuration>標簽中插入)
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value> #master:主機名
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6.0/tmp</value> #/opt/hadoop-2.6.0:hadoop解壓縮路徑
</property>
(2)、hadoop-env.sh 檔案:
export JAVA_HOME=/opt/jdk1.8.0_144 #jdk解壓縮路徑
(3)、hdfs-site.xml檔案:
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.6.0/dfs/name</value> #/opt/hadoop-2.6.0:hadoop解壓路徑
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.6.0/dfs/data</value> #/opt/hadoop-2.6.0:hadoop解壓路徑
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/opt/hadoop-2.6.0/dfs/namesecondary</value> #/opt/hadoop-2.6.0:hadoop解壓路徑
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value> #master:主機名
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
(4)、mapred-site.xml 檔案(mapred-site.xml 檔案默認不不存在,先從模板復制出來):
# 復制并改名
cp mapred-site.xml.template mapred-site.xml
#配置資訊
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value> #master:主機名
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value> #master:主機名
</property>
(5)、yarn-site.xml 檔案:設定 yarn 資源管理器的主機名,設定 yarn 節點管理器輔助功能
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value> #master:主機名
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
10、格式化:(注:格式化操作不能重復執行,如需重復執行,須將/usr/local/src/hadoop/dfs 目錄下 的內容清空再執行格式化)
hadoop namenode -format
11、啟動hadoop,查看行程:
# 啟動hadoop
start-all.sh
#jps查看行程:
jps
#有以下行程說明搭建hadoop成功
2289 NodeManager
1875 SecondaryNameNode
2724 Jps
1669 DataNode
2167 ResourceManager
1544 NameNode
#(行程號可以不同,但行程不能說少)
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/342148.html
標籤:其他
