.set("spark.executor.instances", "16")
.set("spark.executor.cores", "3")
.set("spark.executor.memory", "16G")
broadcast( Hashmap結構 )
Hashmap結構 存放資料40--50MB之間，怎么會出現OOM呢？
按理不是每臺機器備份一份資料嗎，每臺也就50MB,16個節點
uj5u.com熱心網友回復：
.set("spark.executor.memory", "16G") 雖然這里是設定了16g ，但也要看你的節點上的記憶體真正剩下多少，假如值剩下20MB,那么你這里設定這么大，也是起不來作用的uj5u.com熱心網友回復：
broadcast是在每個executor上有一份資料，不是在每個節點上，另外，你確定OOM是因為broadcast引起的嗎？轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/49068.html
標籤：Spark
上一篇：大佬們，我的HADOOP一直報錯，我把除錯資訊發出來，求大佬們幫我看看我到底是哪里出問題了！！！跪謝
下一篇：hadoop | 服務器分布式安裝hadoop,hbase,zookeeper,phoenix,spark | 集群啟動順序