如果參考我的是校友，同選大資料分析的課，不要直接復制，這是我的報告，我只能保證我這么做能做出來，其他報錯自行百度
1. 下載并解壓Hadoop2.x
1) 在本地下載壓縮包，用rz上傳，
2) 解壓：sudo tar xfvz Hadoop-2.10.1.tar.gz
2. 配置偽分布式Hadoop服務
1) 配置etc/hadoop/core-site.xml
2) 配置etc/hadoop/hdfs-site.xml
最后，創建我們組態檔里的目錄，
3) 配置JAVA_HOME
進入檔案hadoop-env.sh
加入路徑，
驗證結果，
遇到的問題如下圖：
可能是由于安裝openjdk時的路徑和各種教程不太一樣，這里在加入路徑時驗證出現問題，觀察報錯資訊，是這個檔案不存在，自己cd一下確實，這里的路徑是我用echo$JAVA_HOME直接復制的，看來不能直接用，
然后根據前面寫的查找java路徑老老實實查完再放到檔案里，還是報錯，發現路徑后面重復了兩次/bin/java，Ok，那我配置路徑時把這兩個刪掉，然后，就成功了！
4) 配置免密登錄，
程序和我配置本機免密登錄虛擬機一樣
可以看到authorized_keys多了一個wxy@vitrual_machine，(上面是我的本機用戶名starmon)
驗證成功，
保險起見，再來一波權限，
小插曲，這里已經給自己的虛擬機換了名字，
3. 啟動并驗證Hadoop服務
1) 格式化資料節點
遇到的問題：
第一次遇到問題，是hdfs-site的格式問題，檢查該檔案解決，
第二次遇到不能創建節點的問題：
不能創建目錄，查看權限，都在root，而現在我的用戶是wxy，
修改賦予權限，之后就成功了，
2) 啟動Hadoop服務
3) 訪問hadoop埠
4) 關閉Hadoop服務
如果啟動時遇到類似的反饋：
就用sbin/stop-dfs.sh先停止再重啟，
如果依然無法啟動，洗掉/tmp，重新賦予權限，重新格式化再來一遍，
4. HDFS操作
1) 配置變數
2) 查看hdfs根檔案夾結構
這里的報錯主要參考了該文：Hadoop： 主節點9000埠拒絕訪問Call From hadoop3/192.168.91.132 to hadoop1:9000 failed on connection exception
出現了問題后，先檢查防火墻，之前已經設定禁止開機啟動了，發現其實沒什么問題，然后檢查core-site.xml檔案，因為我在中途改了一下主機名，推測是這個原因，修改原來的localhost為我的主機，
嗯，還是報錯，好吧，查找是不建議用這種下劃線命名，直接編輯為ip好了，但之后還是乖乖把主機名改成了短線“-”，
之后再嘗試，查看，這時候檔案夾里什么都沒有
3) 創建檔案夾/data 或 /tmp/data
4) 用-ls查看創建結果
5) 將本地檔案/data/smalllog.txt上傳至hadoop系統下/data/smalllog.txt
6) 用-ls查看剛剛創建的hadoop檔案
本地檔案在/home/wxy/myfile檔案夾下，
上傳檔案用put，與copyFromLocal一樣，
7) 查看該檔案的最后1KB內容
8) 重命名該檔案為/data/oldlog.txt
用mv，檔案到檔案夾是移動，檔案到檔案是重命名，
9) 將該檔案下載到本地/data/oldlog.txt
用get，與之相對應的就是copyToLocal
10) 洗掉hadoop檔案/data/oldlog.txt
使用rm洗掉，加-skipTrash跳過回收站洗掉檔案
11) 洗掉hadoop檔案夾/data
洗掉檔案夾類似，這里是建議我用rm -r哈哈，
12) 洗掉本地檔案/data/oldlog.txt
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/386515.html
標籤：其他
上一篇：CentOS7安裝的ZooKeeper 啟動時一直報: Starting zookeeper … FAILED TO START