在我的程式中宣告了一個HashMap:
val filterMap = new HashMap[(String, String), Long]
var broadFilterMap = sc.broadcast(filterMap)
然后將該Map clear:
filterMap.clear()
結果所有的RDD也都為空了。。。不知道是為什么。這是spark的什么原理啊?難道是broadcast的變數不能clear么?
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/100201.html
標籤:Spark
上一篇:java mapreduce wordcount 統計出現次數
下一篇:華為云計算多媒體優酷專區
