我把 SparkContext instance 轉成RDD 經過處理得到想要的中間資料, 而這中間資料需要被各節點共享,我該如何操作,才能把它廣播出去? 詳細點說是,我們根據log檔案讀取出所有被凍結的賬戶,而這些被凍結的賬戶需要被共享,這樣的話好進行判斷。
謝謝各位,小弟初入門庭,還望大家不吝指導。
uj5u.com熱心網友回復:
就看你各個機器是想怎么用這個資料,比如可以把他輸出到HDFS中,這樣每個機器再從HDFS里讀取就行了。還是需要具體看你怎么用資料uj5u.com熱心網友回復:
sc.broadcast轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/90170.html
標籤:Spark
上一篇:據說HCC2015要開始了,
