我有一個流資料集。它從 Kafka 流中讀取并寫入控制臺。
val outputStream = inputStream.writeStream.format("console")
.option("truncate", value = false)
.option("checkpointLocation", "checkpoint")
outputStream.start()
spark.streams.awaitAnyTermination()
但是，當有多個記錄時，我會在控制臺上收到一條訊息：
only showing top 20 rows
它只顯示 20 條記錄。有沒有辦法檢索所有記錄？
火花版本：3.1.2
uj5u.com熱心網友回復：
有一個選項numRows，例如：10000。
val outputStream = inputStream.writeStream.format("console")
.option("truncate", value = false)
.option("numRows",10000)
.option("checkpointLocation", "checkpoint")
轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/472157.html