hadoop 偽分布配置-有解無憂

配置 Hadoop 偽分布式

任務配置說明:

1. VMware 15
2. Centos 6.5
3. java -jdk 1.8
4. hadoop-2.6.0-cdh5.14.0.tar.gz

第一步

自行安裝虛擬機

第二步開始大配置

修改主機名和用戶名

 vim /etc/sysconfig/network  --(將HOSTNAME=) 改為master(主機的意思)

 vim /etc/hosts  --(增加一行內容 ip    master)

配置靜態ip

 vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改內容如下:

 DEVICE=eth0 (網卡名稱)
 HWADDR=00:0C:29:63:C3:47
 TYPE=Ethernet
 UUID=7cce5090-6637-40fc-a47e-9f5e2d561b46
 ONBOOT=yes  (必須設定 設定啟動)
 NM_CONTROLLED=yes
 BOOTPROTO=static  (靜態)
 IPADDR=192.168.65.21  --(你的ip)
 NETMASK=255.255.255.0 --(子網掩碼)
 GATEWAY=192.168.65.1  --(網關)
 DNS1=114.114.114.114  --(DNS)

配置SSH無密碼連接

關閉防火墻

 service iptables stop  --(僅一次性關閉防火墻  再次開機防火墻就重新開啟了)

 chkconfig iptables off  --(永久關閉防火墻  防止重啟防火墻自啟動)

配置 SSH
- 安裝 ssh
  - ```
   yum install ssh
```
- 安裝 rsync
  - ```
   yum install rsync
```

啟動 SSH 服務命令

```
 service sshd restart
```
檢查 ssh 是否已經安裝成功可以執行 rpm -qa | grep openssh

出現

 [hadoop@master ~]$  rpm -qa | grep openssh
 openssh-server-5.3p1-94.el6.x86_64
 openssh-clients-5.3p1-94.el6.x86_64
 openssh-5.3p1-94.el6.x86_64
 openssh-askpass-5.3p1-94.el6.x86_64

代表成功

檢查 rsync 是否安裝成功可執行 rpm -qa | grep rsync
- 出現
  - ```
   [hadoop@master ~]$ rpm -qa | grep rsync
   rsync-3.0.6-12.el6.x86_64
```
- 代表成功

生成 SSH 公鑰 (只可以生成當前執行用戶的秘鑰)

 ssh-keygen -t rsa  --(連續回車即可)

 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop(用戶名)@master(主機名)

驗證 ssh master

4.配置 java 環境

安裝 Java jdk
- 卸載初始系統存在的jdk
  - 檢查是否安裝了jdk
  - ```
   rpm -qa | grep jdk
```
  - 如果出現了回傳值那么使用 yum -y remove xxx(將回傳值輸入即可)
- 安裝 JDK (需要實作上傳)
  - ```
   tar -zxvf jdk-8u221-linux-x64.tar.gz  --(解壓壓縮包)
```
- 修改環境組態檔
  - vim /etc/profile
    - 檔案末尾添加
      
      #java --(注釋代表java)
      
      export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221 --(你java安裝目錄)
      export PATH=$PATH:$JAVA_HOME/bin
  - 讓組態檔修改后生效
    - source /etc/profile
- 驗證 java是否安裝成功 --(輸入java命令即可)
  - ```
   [hadoop@master jdk1.8.0_221]$ java
```
- 如若回傳一大頁東西則安裝成功 java -version可以查看當前java版本資訊

5.配置 hadoop 環境

老樣子先解壓

  tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz

修改組態檔資訊

進入 hadoop 組態檔目錄 cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

修改 hadoop-env.sh 檔案末尾追加以下內容

 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221

 export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0

修改 core-site.xml 檔案

 <configuration>
         <property>
                 <name>fs.default.name</name>
                 <value>hdfs://master:9000</value>
         </property>
 </configuration>

修改 hdfs-site.xml

 <configuration>
         <property>
                 <name>dfs.replication</name>
                 <value>3</value>
         </property>
         <property>
                 <name>dfs.name.dir</name>
                 <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/name</value>
         </property>
         <property>
                 <name>dfs.data.dir</name>
                 <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/data</value>
         </property>
 </configuration>

修改 mapred-site.xml

可以看到我們目錄中沒有mapred-site.xml 我們可以通過模板拷貝出來一個
- ```
 cp mapred-site.xml.template mapred-site.xml
```
- ```
 vim mapred-site.xml
```

添加如下內容

 <configuration>
         <property>
                 <name>mapreduce.framework.name</name>
                 <value>yarn</value>
         </property>
 </configuration>

修改 yarn-site.xml

 <configuration>
 ?
 <!-- Site specific YARN configuration properties -->
         <property>
                 <name>yarn.resourcemanager.address</name>
                 <value>master:8080</value>
         </property>
         <property>
                 <name>yarn.resourcemanager.resource-tracker.address</name>
                 <value>master:8082</value>
         </property>
         <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
         </property>
         <property>
                 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
         </property>
 </configuration>

修改 slaves
```
 master
```

至此,Hadoop 安裝配置作業全部完成,為了能在任何路徑下使用 Hadoop 命令,還需要配置環境變數
- 對 /etc/profile 追加如下資訊
```
 export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0
 export PATH=$PATH:$HADOOP_HOME/bin
```
- 對環境組態檔生效
```
 [hadoop@master hadoop]$ source /etc/profile
```
在第一次啟動 Hadoop 之前,必須對 HDFS 格式化,執行命令
```
 [hadoop@master hadoop]$ hadoop namenode -format
```

第三步

啟動 Hadoop

格式化 Hadoop 完成后,便可以啟動 hadoop ,不過首先我們賦予腳本可執行權限
```
 [hadoop@master hadoop]$ chmod +x -R /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin
```
然后就可以啟動集群了執行啟動腳本 --(進入hadoop的sbin腳本目錄)
```
 [hadoop@master sbin]$ cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin
```

執行腳本

 [hadoop@master sbin]$ bash start-all.sh

最后檢查要啟動的節點是否正常啟動

 [hadoop@master sbin]$ jps
 9025 DataNode
 9185 SecondaryNameNode
 8899 NameNode
 9335 ResourceManager
 9432 NodeManager
 9644 Jps

至此一切完成

第四步

我們可以打開瀏覽器查看我們的HDFS
- 如果 linux 有瀏覽器可以通過瀏覽器地址輸入
```
 master:50070   --(即可訪問)
```
- 如果想在windows訪問打開瀏覽器
```
 linuxip:50070
 例如我的:192.168.65.21:50070
```
大功告成了

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/12608.html

標籤：大數據

上一篇：HBase Filter 過濾器之 Comparator 原理及原始碼學習

下一篇：如何在 HBase Shell 命令列正常查看十六進制編碼的中文？哈哈~

hadoop 偽分布配置