在這里我給大家繼續分享一些關于HDFS分布式檔案的經驗哈，其中包括一些hdfs的基本的shell命令的操作，再加上hdfs java程式設計，在前面我已經寫了關于如何去搭建hadoop這樣一個大資料平臺，還沒搭好環境的童鞋可以轉到我寫的這篇文章Hadoop在Ubuntu的安裝，接下來就開始我們本次的經驗分享啦，
HDFS的Shell命令操作
HDFS的格式化與啟動
首次使用HDFS時，需要使用format 命令進行格式化
./bin/hdfs namenode -format
使用start-dfs.sh命令啟動HDFS，可 使用JPS命令查看是否成功啟動
./sbin/start-dfs.sh
下面的圖片是啟動失敗的截圖，那么怎么解決這個問題呢，
HDFS啟動失敗
首先需要停止hdfs，這也是操作完hdfs的必要步驟，
./sbin/stop-dfs.sh
洗掉tmp/dfs目錄下的data檔案夾
rm -r ./tmp/dfs/data
最后重新執行HDFS的格式化與啟動操作，
啟動成功包括出現NameNode、SecondDaryNameNode、以及DataNode，
HDFS支持的命令
查看hdfs支持的所有命令
./bin/hdfs dfs
Ps:查看hadoop下put的使用方法
./bin/hadoop fs -help put
HDFS檔案系統中目錄創建操作
創建用戶目錄
Hadoop系統安裝好以后，第一次使用HDFS時，需要首先在HDFS中創建用戶目錄，
./bin/hdfs dfs -mkdir -p /user/hadoop
用查詢命令查看我們在路徑user下面創建的檔案夾hadoop
./bin/hdfs dfs -ls /user
創建二級目錄
在hadoop目錄下再創建一個input檔案夾
./bin/hdfs dfs -mkdir /user/hadoop/input
根目錄下創建目錄
在hadoop根目錄下創建一個input檔案夾
./bin/hdfs dfs -mkdir /input
HDFS檔案系統中目錄洗掉操作
洗掉在hadoop根目錄下面創建的input檔案夾
./bin/hdfs dfs -rm -r /input
可以看到，hadoop根目錄下的input檔案夾已經被我們成功洗掉，現在只有存在user目錄，
Hadoop的檔案操作
創建檔案的方式
在當前環境目錄下創建hello.txt檔案，這里介紹兩種方法，
number one
touch hello.txt
打開hello.txt檔案，并寫入如下內容并保存，
hello world
gedit hello.txt
number t two
利用vim編輯創建hello.txt，
vim hello.txt
關于vim怎么建立簡單的文本檔案我就不在這里解釋了，不會的童鞋可以找找度娘，
傳輸檔案
利用put命令將創建的hello.txt檔案上傳到user/hadoop/input的目錄
./bin/hdfs dfs -put ./hello.txt /user/hadoop/input
/bin/hdfs dfs -ls /user/hadoop/input
在user/hadoop/input目錄下利用cat命令查看hello.txt檔案內容
./bin/hdfs dfs -cat /user/hadoop/input/hello.txt
HDFS中的檔案下載到本地檔案系統
使用-get命令將HDFS中的hello.txt檔案下載到本地檔案系統中的/home/hadoop/Desktop這個目錄下:
./bin/hdfs dfs -get /user/hadoop/input/hello.txt /home/hadoop/Desktop
本次給大家分享的內容就到這里啦，覺得還不錯的點個贊支持一下小編，你的肯定就是小編前進的動力，另外如果想了解更多計算機專業的知識和技巧的，獻上我的個人博客北徯，另外需要各種資料的童鞋，可以關注我的微信公眾號北徯，免費的PPT模板，各種資料等你來領，
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/100151.html
標籤：Linux