近期在超算云上跑代碼遇到了個烏龍,就是作業一提交到集群上去先是PD狀態,然后馬上就終止調了,后來知道是我用戶目錄下檔案數量太多,導致已經超過管理員給我分配的磁盤配額了(眾所周知機器學習相關專案的資料集一般有很多檔案),這邊特此記錄一下如何查看磁盤配額資料,
1.檔案系統的支持與查看
用df命令可查看本系統用的是什么檔案系統,比如我們查看本用戶目錄用的什么檔案系統,
[macong@paratera01 ~]$ df -hT ~
Filesystem Type Size Used Avail Use% Mounted on
12.31.3.27@tcp:/home lustre 2.7T 1.9T 848G 69% /home
可以看到是Lustre檔案系統,該系統是一種并行分布式檔案系統,通常用于大型計算機集群和超算,Lustre是源自Linux和Cluster的混成詞,
查看該類檔案系統磁盤配額的命令為
[macong@paratera01 ~]$ lfs quota
error: missing quota argument(s)
Display disk usage and limits.
usage: quota [-q] [-v] [-h] [-o <obd_uuid>|-i <mdt_idx>|-I <ost_idx>]
[<-u|-g|-p> <uname>|<uid>|<gname>|<gid>|<projid>] <filesystem>
quota [-o <obd_uuid>|-i <mdt_idx>|-I <ost_idx>] -t <-u|-g|-p> <filesystem>
2. 查看此案配額的報告資料
則我們用下列命令參看當前用戶($USER)在~/project目錄下的配額,并以人較易閱讀的GBytes、MBytes、KBytes等格式自行顯示:
[macong@paratera01 ~]$ lfs quota -h -u $USER ~/project
Disk quotas for usr macong (uid 53018):
Filesystem used quota limit grace files quota limit grace
/home/macong/project
193.5G 1T 1T - 325835 1000000 1000000 -
可以看到目前我們的磁盤配額中磁盤容量為1T,已用183.5G;檔案數量限制為1000000,目前已用325835(當然,檔案數量之前是滿了的,這里我已經清理過了),
3.討論
我們知道Linux檔案系統中的主要規劃為存放屬性的inode與實際檔案資料block區塊,磁盤配額既然是管理檔案系統,所以當然也可以管理inode與block,這兩個管理的功能為:
- 限制block使用量:管理用戶磁盤容量的限制;
- 限制inode使用量,管理用戶可以建立的檔案數量,
參考
- [1] https://zh.wikipedia.org/zh-tw/Lustre
- [2] 鳥哥. 鳥哥的 Linux 私房菜: 基礎學習篇[M]. 人民郵電出版社, 2018.
轉載請註明出處,本文鏈接:https://www.uj5u.com/caozuo/474565.html
標籤:其他
