目錄
一、前期準備
基本配置
root配置
網路配置
軟體源配置
二、創建hadoop用戶和檔案
用戶創建
小插曲
三、配置java環境及安裝eclipse
安裝eclipse
安裝java環境
四、安裝hadoop
五、偽分布式配置
修改組態檔
執行名稱節點格式化
啟動測驗
ssh免密登錄設定
再次測驗
一、前期準備
基本配置
如果按照我的配置，務必使用我使用的檔案
鏈接：https://pan.baidu.com/s/1jpHnqGa4yXb_g25aJuHjRQ
提取碼：8dvb
復制這段內容后打開百度網盤手機App，操作更方便哦
開始之初，創建虛擬機時，記憶體最好分配2G左右，不然圖形化界面會很卡的
提醒讀者，一定要注意是在什么用戶下敲的命令，我在里面都有詳細解釋，務必認真閱讀，弄錯一步都有可能不成功
打開終端
桌面右擊點擊open in terminal或者ctrl+shift+t打開終端
查看自己版本號
cat /proc/version
修改提示主機名
hostname hadooproot配置
修改root密碼（如果開始沒有創建的話）
sudo passwd root
切換為root用戶方便后面操作，最后一個符號由$變為#則代表切換為了root用戶（新手建議使用普通用戶用sudo提權）
su
網路配置
查看自己的網路是否能用
ip ad正常情況下輸出是這樣的
第一個lo為回環地址網卡，不用管，主要是第二個ens33為你的上網地址網卡，看有沒有IP地址等等，沒有的話提供以下思路
1．重啟網卡
/etc/init.d/network-manager restart2．可能是你的外面的路由器的問題，可以換成NAT模式
３．修改組態檔(由于Ubuntu的組態檔太亂了，建議直接圖形化里面改，如下，都改成自動
然后再回到命令列輸入dhclient重新獲取一下地址即可
dhclient軟體源配置
網路配置通后先更換一下軟體倉庫源為阿里的鏡像源
首先將如下寫入一個檔案，復制如下檔案
deb http://mirrors.aliyun.com/ubuntu/ trusty main multiverse restricted universe
deb http://mirrors.aliyun.com/ubuntu/ trusty-backports main multiverse restricted universe
deb http://mirrors.aliyun.com/ubuntu/ trusty-proposed main multiverse restricted universe
deb http://mirrors.aliyun.com/ubuntu/ trusty-security main multiverse restricted universe
deb http://mirrors.aliyun.com/ubuntu/ trusty-updates main multiverse restricted universe
deb-src http://mirrors.aliyun.com/ubuntu/ trusty main multiverse restricted universe
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-backports main multiverse restricted universe
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-proposed main multiverse restricted universe
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-security main multiverse restricted universe
deb-src http://mirrors.aliyun.com/ubuntu/ trusty-updates main multiverse restricted universe
vim 1.txt 如果沒有vim可以先使用vi，命令一樣進入后按i進入編輯模式后右鍵paste黏貼進入，再shift加兩下z（兩下大寫z）保存退出
之后一個命令匯入組態檔
cat 1.txt >>/etc/apt/source.list最后使用update命令更新源檔案
apt-get update -y
之后就可以下載安裝常用編輯器，我本人喜歡用vim當然，新手推薦用nano有提示幫助
apt-get install vim -y安裝ssh
apt-get install openssh-server -y
二、創建hadoop用戶和檔案
用戶創建
2.創建用戶并自動創建檔案，指定bash為shell
useradd -m hadoop -s /bin/bash
由于創建過一次忘了刪，所以會報檔案存在的錯誤，但還是成功
3.創建密碼
passwd hadoop
4.添加Hadoop 到hadoop組（需要注意的是usermod命令修改用戶組，如下為例，第一個Hadoop為用戶組名，第二個為用戶名
usermod -a -G hadoop hadoop
因為以后可能會用到hadoop用戶執行root才有的權限，所以將hadoop添加到sudo檔案里
首先打開檔案
vim /etc/sudoers進入后按i進入編輯模式，找到root這里在下面添加一行
hadoop ALL=(ALL:ALL) ALL然后按一下ESC鍵，再按住shift不放按兩下Z（大寫的兩個Z）保存并推出vim編輯器，Hadoop用戶將會擁有sudo提權的權限
保存的時候可能會報這個錯
這是因為檔案設定成了只讀，想要強制保存退出的話先猛按ESC再輸入：會在左下角有個：還有個待輸入的游標閃爍，這時候輸入wq!再回車就行了
按照教科書上的所有的下載的以及從主機上發過來的檔案全部都放到/home/hadoop/downloads下
創建檔案
mkdir /home/hadoop/downloads
小插曲
想洗掉用戶hadoop
報錯：
userdel: user hadoop is currently used by process 19689
導致原因，頻繁切換su
解決辦法：
使用w查看哪些用戶登錄
使用who查看哪些用戶使用
使用crtl+d退出用戶（多使用幾次退出完）
再次洗掉，失敗
查看哪些行程在占用
ps -aux |grep 19689
直接殺死行程
kill -9 19689再次查看行程
再次洗掉，成功！
三、配置java環境及安裝eclipse
安裝eclipse
我這里使用的是VMware虛擬機可以直接拖拽到里面，如果使用的是 VirtualBox開源虛擬機，則需要搭建一個ftp來傳送，Ubuntu搭建ftp比較簡單，教材上也詳細，就不再贅述，這里講一下使用VMware拖拽導致找不到檔案的方法
首先拖拽eclipse
本來想直接能夠復制進我打開的檔案，結果并不是，這里提供一個命令直接找到檔案 find
find使用方法
find path 【option】file
find /* -name eclipse*然后再使用mv命令移動到上面創建的hadoop下載檔案夾中
mv /home/zxl/.cache/vmware/drag_and_drop/rrwsez/eclipse-4.7.0-linux.gtk.x86_64.tar.gz /home/hadoop/downloads/
之后把檔案解壓到/use/local下
tar -zxvf eclipse-4.7.0-linux.gtk.x86_64.tar.gz -C /usr/local/
之后進入解壓檔案夾并且運行eclipse即可
cd /usr/local/eclipse/
./eclipse
安裝java環境
java環境包依舊放到download下，解壓到創建的/usr/lib/jvm下
mkdir /usr/lib/jvm
find /* -name jdk-8u1*
mv /home/zxl/.cache/vmware/drag_and_drop/rrwsez/jdk-8u11-linux-x64.tar.gz /home/hadoop/downloads/
cd /home/hadoop/downloads/
tar -zxvf /home/hadoop/downloads/jdk-8u11-linux-x64.tar.gz -C /usr/lib/jvm/
配置java四個環境變數，這里說明一下，如果時按照我的做的一定要和我創建的檔案夾
一模一樣，不然不會成功
使用vim打開linux的環境變數檔案
這里需要強調一下，用的那個用戶編輯的下面的檔案，就是那個用戶的變數，我這個用的root用戶的，所以就只有在root用戶下才可以使用java命令
vim ~/.bashrc需要切換到Hadoop用戶下面的可以如下教程
su hadoop
sudo vim ~/.bashrc
后面的教程相同
在開頭輸入如下，記得進去后先按下i進入編輯模式才可以黏貼
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH這里一定要和我輸入的一模一樣，而且使用我提供的軟體包才可以，也可以使用自己的，只不過需要改一下版本號等等
輸入后按兩次大寫的z保存退出
更新重置下環境變數檔案，并檢查java環境配置是否成功，出現和我一樣的提示則配置成功
source ~/.bashrc
java -version 
Java環境配置篇結束
四、安裝hadoop
拖拽移動hadoop
find /* -name hadoop*
mv /home/zxl/.cache/vmware/drag_and_drop/rrwsez/hadoop-3.1.3.tar.gz /home/hadoop/downloads/
cd /home/hadoop/downloads/
同樣需要解壓到/usr/local/檔案夾下
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/
進入
/usr/local/
更改檔案名
hadoop-3.1.3
為
hadoop
并更改檔案權限為Hadoop所有
進入解壓檔案，驗證軟體是否可用
cd /usr/local/hadoop
./bin/hadoop version
有如下提示則代表成功
五、偽分布式配置
偽分布就是把自己的Ubuntu既當成名稱節點也當成資料節點（既當爹又當媽），讀取HDFS中的檔案
其實就是需要更改一下組態檔，格式化一下名稱節點就行了
修改組態檔
修改組態檔core-site.xml的<configuration>標簽
vim /usr/local/hadoop/etc/hadoop/core-site.xml
添加如下內容（如果是按照我的教程配置的就可以直接黏貼，不然請自行斟酌檔案名
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
同上面的方式保存退出
修改組態檔hdfs-site.xml的<configuration>標簽
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml添加如下內容：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>
dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/tmp/dfs/data</value>
</property>
執行名稱節點格式化
修改完組態檔只需要執行一下名稱節點的格式化即可
cd /usr/loca/hadoop
./bin/hdfs namenode -format
看到如下輸出的最后的提示則說明成功
啟動測驗
輸入命令測式
cd /usr/local/hadoop
./sbin/start-dfs.sh
報錯：
初步判斷式因為ssh沒有配置免密登錄
ssh免密登錄設定
1. 生成公鑰私鑰，將在~/.ssh檔案夾下生成檔案id_rsa：私鑰，id_rsa.pub：公鑰
cd ~/.ssh/
ssh-keygen -t rsa //前面沒有空格一直回車即可
2. 匯入公鑰到認證檔案，更改權限：
（1）匯入本機：
理論上需要將本機的公匙復制到服務器的authorized_keys下，但是這里只在本機登錄，所以進行到這一步就可以了，
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys這之后的就不用配置了
（2）匯入服務器：（我只是在本機配置的，所以這一步我沒做）
首先將公鑰復制到服務器：
scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub
然后，將公鑰匯入到認證檔案，這一步的操作在服務器上進行：
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
最后在服務器上更改權限：
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
3）測驗：ssh localhost 第一次需要輸入yes和密碼，之后就不需要了，
再次測驗
成功！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/267017.html
標籤：其他
上一篇：樹莓派備份鏡像&批量燒錄