嗨，我正在使用下面的代碼列出 hdfs 目錄中的任何檔案。現在我必須使用下面的代碼計算從串列中獲得的檔案數量，但出現錯誤。
val hdfspath = "/data/fnl-ecomm/release/*/*/*/schema/*.json" import org.apache.hadoop.fs. (FileSystem, Path)
val fs = org.apache.hadoop.fs.FileSystem.get(spark.sparkContext.hadoopConfiguration)
fs.globStatus(new Path(hdfspath)).filter(.isFile).map(_.getPath).foreach(println)
var count: Int =0
if(status!=null)
while(status.hasNext)
{
status.next
count = 1
} print("Count is", count)
}
else
{
print("count is zero")
}
我已經嘗試了上面的代碼，但出現錯誤
uj5u.com熱心網友回復：
import org.apache.hadoop.fs.FileSystem
val fs = FileSystem.get(spark.sparkContext.hadoopConfiguration)
val filesCount = fs.listStatus(new Path(hdfsPath)).count(_.isFile)
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/526709.html