我在 dataproc 上運行 pyspark 作業，我的 hdfs 總容量并沒有保持不變。
正如您在第一個圖表中看到的那樣，即使使用的 hdfs 容量很小，剩余的 hdfs 容量也在下降。為什么剩余 使用不恒定？
uj5u.com熱心網友回復：
監控圖中的“used”實際上是“DFS used”，并沒有顯示“non-DFS used”。如果您在組件網關 Web 界面中打開 HDFS UI，您應該能夠看到如下內容：
Configured Capacity : 232.5 GB
DFS Used : 38.52 GB
Non DFS Used : 45.35 GB
DFS Remaining : 148.62 GB
DFS Used% : 16.57 %
DFS Remaining% : 63.92 %
公式是：
DFS Remaining = Total Disk Space - max(Reserved Space, Non-DFS Used) - DFS Used
配置容量 = 總磁盤空間 - 保留空間
保留空間由默認為 0 的dfs.datanode.du.reserved 1屬性控制。因此，在您的情況下，使用的非 DFS 會被扣除。這是一個類似的問題。
轉載請註明出處，本文鏈接：https://www.uj5u.com/yidong/424054.html
標籤：阿帕奇火花 Hadoop apache-spark-sql 谷歌云数据处理 数据处理
下一篇：如何在hive中運行子查詢