1.使用hadoop是需要jdk環境的，因為hadoop里面有java程式，而運行java程式需要jdk，
2.從宿主機上傳檔案到虛擬機有很多方法，我選擇的是在虛擬機安裝lrzsz，安裝lrzsz命令列：yum install -y lrzsz
3.確定好軟體安裝路徑
/opt #作業目錄
/opt/installed #安裝包
/opt/software #軟體包
/opt/other #其他
/opt/test #測驗
4.上傳軟體包
cd /opt/installed
rz #從宿主機下載jdk和hadoop的tar.gz包
hadoop的下載地址：https://dist.apache.org/repos/dist/release/hadoop/common/
5.解壓軟體包
#如果虛擬機沒有安裝tar 使用yum安裝：yum install -y tar
tar -zxvf jdk-8u202-linux-x64.tar.gz
tar -zxvf hadoop-2.7.7.tar.gz
6.把解壓的jdk和hadoop移動到/opt/software/下面
mv jdk1.8.0_202 /opt/software/
mv hadoop-2.7.7 /opt/software/
7.配置兩個軟體的環境變數
vi /etc/profile
i 編輯
在最下面寫入
Esc 命令模式
：wq 保存
source /etc/profile
8.修改主機名(原本是localhost)
vim /etc/hostname localhost修改成hadoop101
修改主機映射
vim /etc/hosts 在最下面寫入 192.168.31.54(自己的虛擬機ip地址) hadoop01(剛剛修改的主機名)
9.修改六個組態檔，全部在hadoop目錄下的etc/hadoop/下面
cd /opt/software/hadoop-2.7.7/etc/hadoop/ #配置全部在這個目錄下
vim hadoop-env.sh #編輯組態檔hadoop-env.sh
export JAVA_HOME=/opt/software/jdk1.8 #修改25行
export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行
vim core-site.xml #編輯組態檔core-site.xml
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定hadoop運行時產生檔案的存盤目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop-2.7.7/tmp</value>
</property>
</configuration>
vim hdfs-site.xml #編輯組態檔hdfs-site.xml
<configuration>
<!-- 指定HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
vim mapred-site.xml #編輯組態檔mapred-site.xml
<!-- 指定mr運行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim yarn-site.xml #編輯組態檔
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
<!-- reducer獲取資料的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
vim slaves #編輯組態檔
只需要寫入主機名就可 hadoop101
10.格式化檔案系統 檔案系統必須格式化才能使用
hadoop namenode -format
11.配置免密通信 因為啟動hadoop要多次輸入密碼
ssh-keygen #創建密鑰#
ssh-copy-id hadoop101 #將公鑰復制到hadoop101 也就是本機
11.啟動hadoop
start-all.sh #啟動
stop-all.sh #停止
12.netstat -nltp 查看hadoop啟動的埠
13.jps 查看java介面的行程號
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/86839.html
標籤：其他
上一篇：VScode搭建OpenCV環境
下一篇：Nginx三大主要功能