一個spark的單詞計數程式,如下
main(){
val a = .....
val sparkConf = new SparkConf().....
val ssc = new StreamingContext...
//業務代碼
.....
ssc.start()
ssc.awaitTermination()
}
它在集群中的流程是怎么樣呢,
我的理解是:
a的賦值和ssc的初始化其實都只執行一次,而跟ssc有關的業務代碼卻是隨ssc.awaitTermination()一次又一次執行的,是這樣么
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/80039.html
標籤:Spark
上一篇:Pigserver 佇列設定問題
