centos下 hadoop偽分布式和完全分布式的詳細安裝

hadoop完整環境搭建
windows下的安裝：
工具準備：
vmware 最新版本就行
centos純凈版
hadoop2.7.3
jdk1.8
xshell secureCRT
步驟一 ： 準備
1.1.安裝vmare
1.2.配置虛擬機 master

• 計算機重命名：
  $> hostnamectl set-hostname master
• 關閉防火墻：
  $> service firewalld stop
  $> systemctl disable firewalld.service
  1.3.安裝jdk（前提將hadoop和jdk壓縮包上傳到自己創將用戶的某一檔案夾中，建立/home/xx用戶/soft）
  $> cd /usr/local
  $> rpm -ivh dk-8u91-linux-x64.rpm
  $> java
  1.4.配置jdk環境變數
  > v i / e t c / p r o f i l e 在 尾 部 添 加 以 下 內 容 e x p o r t J A V A H O M E = / u s r / j a v a / j d k 1.8. 0 9 1 e x p o r t C L A S S P A T H = . : > vi /etc/profile 在尾部添加以下內容 export JAVA_HOME=/usr/java/jdk1.8.0_91 export CLASSPATH=.: >vi/etc/profile在尾部添加以下內容exportJAVAH?OME=/usr/java/jdk1.8.09?1exportCLASSPATH=.:JAVA_HOME/jre/lib/rt.jar: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: JAVAH?OME/lib/dt.jar:JAVA_HOME/lib/tools.jar
  export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
  使環境變數立即生效source /etc/profile
  1.5.測驗
  任意位置輸入
  java
  java -version
  1.6.安裝hadoop
  $> cd /usr/local
  $> tar zxf hadoop-2.7.3.tar.gz
  將hadoop移動到/soft $> mv /usr/local/hadoop-2.7.3 /soft
  $> ln -s /soft/hadoop-2.7.3 /soft/hadoop
  配置hadoop > v i / s o f t / h a d o o p / e t c / h a d o o p / h a d o o p ? e n v . s h 修 改 J A V A H O M E = / u s r / j a v a / j d k 1.8. 0 9 11.7. 配 置 h a d o o p 環 境 變 量 v i / e t c / p r o f i l e 內 容 e x p o r t P A T H = > vi /soft/hadoop/etc/hadoop/hadoop-env.sh 修改JAVA_HOME= /usr/java/jdk1.8.0_91 1.7.配置hadoop環境變數 vi /etc/profile 內容export PATH= >vi/soft/hadoop/etc/hadoop/hadoop?env.sh修改JAVAH?OME=/usr/java/jdk1.8.09?11.7.配置hadoop環境變量vi/etc/profile內容exportPATH=PATH:/file/hadoop/bin:/file/hadoop/sbin
  使環境變數立即生效source /etc/profile
  1.8.測驗
  任意位置輸入
  hadoop
  hadoop version
  1.9
  步驟二：偽類分布式hadoop搭建
  2.1將地址與主機名配置到hosts檔案中
  $> sudo vi /etc/hosts
  192.168.56.100 master
  2.2測驗
  ping master
  2.3配置 hadoop-env.sh
  $>cd ~/soft/hadoop/etc/hadoop/hadoop-env.sh
  export JAVA_HOME=/usr/java/jdk1.8.0_91

2.4配置hadoop的四個組態檔
$> cd ~/soft/hadoop/etc/hadoop
$> vi core-site.xml


fs.defaultFS
hdfs://master:9000

fs.defaultFS -> hdfs://localhost:9000


　　　hadoop.tmp.dir
　　　/home/centos/soft/hadoop/tmp

$> vi hdfs-site.xml


　　　dfs.replication
　　　1

$> vi mapred-site.xml


　　　　　mapreduce.framework.name
　　　　　yarn

$> vi yarn-site.xml


　　　　yarn.resourcemanager.hostname
　　　　master



　　　　yarn.nodemanager.aux-services
　　　　mapreduce_shuffle

2.5配置ssh無密登錄
$>cd ~/.ssh
$> ssh-keygen -t rsa 使用rsa演算法生成公私秘鑰對
$> ssh-copy-id master 將公鑰發送給目標主機
目的是在遠程登錄的時候不同輸入密碼
2.6 格式化hdfs的名稱節點
$> hdfs namenode -format
2.7啟動hadoop hdfs 偽分布式集群：
$> start-dfs.sh
- NameNode -> 名稱節點
- DataNode -> 資料節點
- SecondaryNameNode -> 輔助名稱節點
$>start-yarn.sh
-resourcemanager 資源調度入口
-nodemanager 驅動 mapreduce
$> hadoop-daemon.sh start namenode -> 啟動名稱節點
$> hadoop-daemon.sh stop nameno -> 關閉名稱節點
$>start-all.sh||stop-all.sh 不建議初學使用
2.8web ui測驗
uri : http://192.168.56.100:50070
2.9關閉集群

步驟三：完全分布式hadoop搭建
3.1克隆master
slave1~3（記憶體512MB）
修改ip地址：
這里推薦一個特別好用的命令：
$>nmtui
進入之后，可以根據英語提示進行相應的修改
本人ip地址分配：
192.168.235.135 master
192.168.235.138 slave1
192.168.235.136 slave2
192.168.235.137 slave3
3.2重啟網路
$>servic network restart
如果重啟失敗，重啟一下即可
3.3修改主機名
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2
hostnamectl set-hostname slave3
切換一下用戶生效
3.4配置hosts檔案 $>vi /etc/hosts
四臺虛擬機都要配置
192.168.56.100 master
192.168.56.201 slave1
192.168.56.202 slave2
192.168.56.203 slave3

3.5重新配置ssh免密登錄
$>cd ~/.ssh
$> ssh-keygen -t rsa 使用rsa演算法生成公私秘鑰對
$> ssh-copy-id master 將公鑰發送給目標主機
$> ssh-copy-id slave1 將公鑰發送給目標slave1
$> ssh-copy-id slave2 將公鑰發送給目標slave2
$> ssh-copy-id slave3 將公鑰發送給目標slave3
3.6測驗
$>ssh slave1
$>exit
$>ssh slave2
3.7配置slaves
$>vi ~/soft/hadoop/etc/hadoop/slaves
為了告訴namenode datanode的位置
四臺虛擬機都需要配置這個檔案
3.8洗掉偽分布式的臨時目錄
$>tmp rm-rf dfs*
四個主機都要執行
3.9僅master進行格式化
$> hdfs namenode -format
3.9啟動完全分布式
$>start-dfs.sh
3.10測驗1
master ->jps->namenode
ssh slave1 jps
ssh slave2 jps
ssh slave3 jps
slave->jps->datanode
3.11測驗2
webui查看namenode下資料節點的個數是否為3

說明：在偽分布式中master dfs檔案中有name data 檔案
在完全分布式中 master dfs只有name
slave dfs只有data