Hadoop支持本地模式、偽分布式模式、完全分布式模式3種安裝模式，本地模式，在系統中下載Hadoop,默認情況下，它會被配置為一個獨立的模式， 用于運行Java程式;偽分布式模式，這是在單臺機器上的分布式模擬，這種模式對開發非常有用:完全分布式模式，又叫集群安裝，Hadoop 安裝在最少兩臺計算機的集群中，
安裝VMware并安裝CentOS：
CentOS下載
https://www.centos.org/download/系統安裝完成后需要進行如下配置
一、配置CentOS
1. 設定IP
選擇設定
選擇網路、選擇設定
記住IPv4地址
IPv4中如下設定
2. 修改主機名
hostnamectl set-hostname hadoop0
3. 使用vim編輯/etc/hosts
vim /etc/hosts
在最后一行添加IP hadoop0
如圖：
4. 關閉防火墻
systemctl stop firewalld.service
systemctl disable firewalld.service
5. 禁用selinux
使用vim編輯/etc/selinux/config
vim /etc/selinux/config
將SELINUX=enforcing改為SELINUX=disabled
6. 設定SSH免密登陸
cd /root/.ssh
rm -rf *
使用ssh-keygen -t dsa命令生成密碼，之后使用回車確認配置，
ssh-keygen -t dsa
將生成的id_dsa.pub復制到指定的密鑰目錄authorized_keys中，
cat id_dsa.pub >>authorized_keys
如果出現沒有.ssh目錄
登錄localhost并輸入密碼就會生成
ssh localhost
7. 重啟CentOS
reboot
二、Hadoop偽分布式安裝
1. 下載Hadoop3.0.0并解壓
Hadoop3.0.0下載
http://archive.apache.org/dist/hadoop/core/hadoop-3.0.0/在CentOS中解壓檔案
tar -xvf hadoop-3.0.0.tar.gz
2. 配置它的環境變數
mv hadoop-3.0.0 hadoop
將Hadoop安裝目錄配置到/etc/profile的PATH環境變數
3. 使用source命令執行一次才能生效
source /etc/profile
4. 配置hadoop-env.sh
修改其中JAVA_HOME為本機的
5. 配置core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop0:9000/</value>
<description>NameNode URI</description>
</property>6. 配置hdfs-site.xml
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///usr/local/hadoop/data/datanode</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///usr/local/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop0:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop0:50090</value>
</property>7. 配置yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop0:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop0:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop0:8050</value>
</property>完成以上操作即可配置完成，
Hadoop驗證
啟動之前需要格式化，啟動后開查看行程資訊，瀏覽檔案，驗證是否能正常運行，
格式化命令：
hadoop namenode -format如果沒有報錯則格式化成功
啟動Hadoop
start-all.sh若果沒有報錯則正常啟動了
jps命令可查看行程資訊
瀏覽檔案
hadoop fs -ls /
瀏覽器中訪問
http://本機IP:50070
結果如圖：
個人學習，當做筆記記錄，有誤還望指出，僅供參考！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/423220.html
標籤：其他