問題需求:公司現有業務資料在傳統關系資料庫中,目前需要從關系資料庫中讀出并分析成結構化的Json資料存盤起來
目前的做法是先把資料讀取出來,保存成臨時表,然后通過rdd中的map進行分層處理,每一層需要的資料都到指定的臨時表中去拿,寫完實驗代碼,發現行不通呀,只要在下一層中去臨時表中查找資料的時候就會卡死,有沒有大神給個解決思路呀,謝謝。當前分析代碼如下:

控制臺最后資訊如下:

有沒有懂得給講講啥情況唄.
uj5u.com熱心網友回復:
天哪,又是一個在算子里創建SparkSession的uj5u.com熱心網友回復:
先把所有的資料讀取成dataframe,然后通過filter和join、drop算子得到自己想要的dataframe轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/53465.html
標籤:Spark
