實驗概述：
1. 配置Hadoop主從服務
2. 配置服務器ssh免登錄
3. 驗證Hadoop安裝成功
實驗目的：
通過該實驗后，可以獨立安裝配置Hadoop集群環境
實驗背景：
本實驗中會分配到三臺裝有Centos 7的服務器，請將其中的一臺選定為主服務器(namenode),另外兩臺為從服務器(datanode) ，本實驗以server-1為主服務器，server-2，server-3 為從服務器，實際試驗中讀者分配到的服務器名稱不一定是叫server-1,server-2,server-3，
Hadoop安裝包已下載并解壓好，目錄為：/usr/local/zhitu/hadoop-2.7.3，
請你配置hadoop集群環境，并確認hadoop啟動成功，
實驗步驟：
1.配置Hadoop主從服務
（1）將各服務器的ip和名稱配置到/etc/hosts檔案中，使用ifconfig命令可以查看本機ip，使用hostname命令可以查看本服務器名稱；使用vi命令編輯/etc/hosts檔案，將三臺服務器的ip和名稱寫入檔案，三臺服務器上均需要配置，
通過命令more查看
（2）通過主服務器ping一下其他倆個從服務器
（3）配置Hadoop（配置hadoop集群是需要在每一臺服務器上都配置，這里我們只在主服務器上完成配置，配置完成之后我們將配置好的hadoop復制到其他服務器即可，）
此步驟的以下操作均在主服務器上操作：
- 在hadoop-2.7.3目錄下使用mkdir命令創建四個目錄：tmp、hdfs、hdfs/data、 hdfs/name
- 進入hadoop-2.7.3目錄下的etc/hadoop目錄下，配置core-site.xml檔案
- 進入hadoop-2.7.3目錄下的etc/hadoop目錄下，配置hdfs-site.xml檔案，該 檔案主要是hdfs系統的相關配置
- 進入hadoop-2.7.3目錄下的etc/hadoop目錄下，將檔案 mapred-site.xml.template使用mv命令重命名為mapred-site.xml，mappred-site.xml 檔案中主要配置mapreduce相關的配置
- 進入hadoop-2.7.3目錄下的etc/hadoop目錄下，配置yarn-site.xml文 件,yarn-site.xml檔案中主要配置yarn框架相關的配置
-
- 進入hadoop-2.7.3目錄下的etc/hadoop目錄下，修改slaves檔案，將其中的 localhost去掉，并所有的從服務器名稱添加進去，每臺服務器名稱占一行
-
- 進入hadoop-2.7.3目錄下的etc/hadoop目錄下，修改hadoop-env.sh、 yarn-env.sh 兩個檔案，增加JAVA_HOME的環境變數配置，查看jdk目錄可使用命 令echo $JAVA_HOME在hadoop-env.sh、yarn-env.sh兩個檔案中分別增加如下一段代碼(jdk目錄請根據自 己實際情況設定)：export JAVA_HOME=/usr/lib/java/jdk1.8
2.配置服務器ssh免登錄
（1） 為每個節點分別產生公、私密鑰配置
- 使用如下命令可以為本服務器生成公鑰(id_dsa.pub)和私鑰(Id_dsa),要求輸入 passphrased的時候直接敲回車：
- 再使用如下命令，將公鑰檔案復制成authorized_keys檔案；測驗本機ssh免 登陸
（2）讓主結點能通過SSH免密碼登錄兩個子結點
- 使用scp命令，將主服務器的公鑰檔案id_dsa.pub復制到從服務器上，并命 令為server-1.pub（此檔案名可以自己隨意起）
- 再將上一步生成的server-1.pub檔案內容追加到server-2的authorized_keys 檔案中，這里我們使用ssh命令，在server-1上遠程操作，如圖
輸入此命令后，會要求輸入server-2服務器的root賬號密碼，輸入密碼即可
- 接著我們再登錄第二臺從服務器，發現需要密碼，然后進行上述兩 步操作
（3）將Hadoop復制到各從服務器
在主服務器上執行以下兩條命令，（其中root為登錄從服務器的用戶名， server-2,server-3 為從服務器的名稱，請根據自己實際情況修改）
scp -r /usr/local/zhitu/hadoop-2.7.3 root@server-2:/usr/local/zhitu/
scp -r /usr/local/zhitu/hadoop-2.7.3 root@server-3:/usr/local/zhitu/
（4）格式化namenode
在主服務器上，進入hadoop-2.7.3目錄下，執行bin/hdfs namenode -format即可
（5）啟動hadoop
在主服務器上，進入hadoop-2.7.3目錄下，執行sbin/./start-all.sh即可
3.驗證Hadoop安裝成功
使用jps命令查看服務
- 主服務器上查看
- 第一臺從服務器查看
- 第二臺從服務器查看
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/352156.html
標籤：其他