指令目錄
- 1、創建目錄與檔案
- 2、顯示目錄與檔案名
- 3、rm洗掉目錄和檔案
- 4、put/get上傳/下載
- 5、cat、text、tail查看檔案內容
- 5、appendToFile追寫檔案
- 6、du顯示占用磁盤空間大小
- 7、cp復制檔案
1、創建目錄與檔案
mkdir創建檔案夾：hdfs fs -mkdir [-p] < paths >
touchz新建檔案：hdfs fs -touchz URI [URI …]
接受路徑指定的uri作為引數，創建這些目錄，其行為類似于Unix的mkdir -p，它會創建路徑中的各級父目錄，
| 命令 | 解釋 | 例子 |
|---|---|---|
| hdfs fs -mkdir（paths） | 在分布式主目錄下新建檔案夾 | hdfs dfs -mkdir /test |
| hdfs fs -touchz URI [URI …] | 在/test/下新建檔案file1 | hdfs dfs -touchz /test/file1 |
2、顯示目錄與檔案名
使用方法：hdfs dfs -ls [-d][-h][-R] < paths >
| 命令 | 解釋 | 例子 |
|---|---|---|
| hdfs dfs -ls | 列出目錄下的所有檔案和目錄資訊 | hdfs dfs -ls /test |
| hdfs dfs -ls -d | 列出/test目錄資訊 | hdfs dfs -mkdir /test |
| hdfs dfs -ls -h | 列出目錄和檔案的大小 | hdfs dfs -ls -h /test |
| hdfs dfs -ls -R | 回圈列出目錄、子目錄及檔案資訊 | hdfs dfs -ls -R /test |
3、rm洗掉目錄和檔案
使用方法：hdfs dfs -rm [-f] [-r|-R] < paths >
| 命令 | 解釋 | 例子 |
|---|---|---|
| hdfs dfs -rm | 洗掉檔案 | hdfs dfs -rm /test/dir0/file1 |
| hdfs dfs -rm -r | 級聯洗掉目錄下的所有檔案和子目錄檔案 | hdfs dfs -rm -r /test/dir0 |
4、put/get上傳/下載
使用方法↓
hdfs dfs -put [-f] [-p] < localsrc > … < dst >
hdfs dfs -get [-p] [-ignoreCrc] [-crc] < src > … < localdst >
put將本地檔案系統的復制到HDFS檔案系統的目錄下
get 將HDFS中的檔案復制到本地檔案系統中，與-put命令相反
| 命令 | 解釋 | 例子 |
|---|---|---|
| hdfs dfs -put | / | hdfs dfs -put /test/test.txt |
| hdfs dfs -put -f | -f 如果檔案在分布式檔案系統上已經存在，則覆寫存盤，若不加則會報錯 | hdfs dfs -put -f /home/hadoop/hfile /test/hfile |
| hdfs dfs -put -p | -p 保持源檔案的屬性（組、擁有者、創建時間、權限等）把本地新建的檔案放到分布式檔案系統主目錄下，保持源檔案屬性 | hdfs dfs -put -p /home/hadoop/file /test/ |
| hdfs dfs -get | 把分布式檔案系統目錄下的檔案復制到本地 | hdfs dfs -get /test/hfile /home/hadoop/hfile |
5、cat、text、tail查看檔案內容
使用方法↓
hdfs dfs -cat/text [-ignoreCrc] < src >
Hdfs dfs -tail [-f] < file >
其中，-ignoreCrc 忽回圈檢驗失敗的檔案；-f 動態更新顯示資料，如查看某個不斷增長的檔案的日志檔案，
3個命令都是在命令列視窗查看指定檔案內容，區別是 text 不僅可以查看文本檔案，還可以查看壓縮檔案和Avro序列化的檔案，其他兩個不可以；tail 查看的是最后1KB的檔案（Linux上的tail默認查看最后10行記錄），
| 命令 | 解釋 | 例子 |
|---|---|---|
| hdfs dfs -cat | 查看檔案的內容 | hdfs dfs -cat /test/file |
| hdfs dfs -text | 查看檔案的內容 | hdfs dfs -text /test/file |
| hdfs dfs -tail | 查看檔案的內容 | hdfs dfs -tail /test/file |
5、appendToFile追寫檔案
使用方法： hdfs dfs -du [-s] [-h] < path > …
默認按位元組顯示指定目錄所占空間大小，其中，-s顯示指定目錄下檔案總大小；-h按照KMG資料大小單位顯示檔案大小，如果沒有單位，默認為B，
| 命令 | 解釋 | 例子 |
|---|---|---|
| hdfs dfs -appendToFile | 把本地檔案系統檔案追加到分布式檔案系統中 | hdfs dfs -appendToFile /home/hadoop/file2 /test/file2 |
6、du顯示占用磁盤空間大小
使用方法： hdfs dfs -du [-s] [-h] < path > …
默認按位元組顯示指定目錄所占空間大小，其中，-s顯示指定目錄下檔案總大小；-h按照KMG資料大小單位顯示檔案大小，如果沒有單位，默認為B，
| 命令 | 解釋 | 例子 |
|---|---|---|
| hdfs dfs -du | 顯示分布式主目錄下檔案和目錄大小 | hdfs dfs -du /test/ |
| hdfs dfs -du -h | 顯示分布式主目錄下檔案和目錄大小 | hdfs dfs -du -h /test/ |
| hdfs dfs -du -s | 顯示分布式主目錄下檔案和目錄大小 | hdfs dfs -du -s /test/ |
7、cp復制檔案
將檔案從SRC復制到DST，如果指定了多個SRC，則DST必須為一個目錄
使用方法：hdfs fs –cp SRC [SRC …] DST
| 命令 | 例子 | 解釋 |
|---|---|---|
| hdfs dfs -cp | hdfs dfs -cp /test/file2 /test/dir0 | 從/test復制file2檔案至/test/dir0目錄下 |
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/354569.html
標籤：其他