1.spark里面因為閉包問題,rdd在 trasaction 操作程序中不能參考別的rdd,網上看了很多文章感覺都解釋的不大好,理解的不好。
2.rdd在 trasaction 程序中,不能呼叫sparkContext 物件,是因為sparkContext 只能在driver端執行?而trasaction 操作已經是個閉包在executor端了?
uj5u.com熱心網友回復:
你的理解是對的。嵌套的需求要用join來做。如果真非嵌套不可,只能將小的RDD collect并廣播。在transform算子內訪問廣播變數的方式嵌套uj5u.com熱心網友回復:
rdd在 trasaction 操作程序中不能參考別的rdd ,有什么好的解釋嗎?轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/44153.html
標籤:Spark
上一篇:【求救········】centos下,為了docker的安裝,升級了內核,從2.6升級到3.11,但卻出現iptables丟失nat表問題。【求救······
