最近用Spark Streaming做實時計算,放到Yarn上跑了一段時間發現Storage Memory一直緩慢增長,每個batch大概漲個幾M到幾十M

用記憶體泄漏查看得到如下結果

想問下問題大概出在哪里

uj5u.com熱心網友回復:
不清楚,幫你友情UP一下。uj5u.com熱心網友回復:
我之前遇到過這樣的問題,那時是因為存在未關閉的連接造成的uj5u.com熱心網友回復:
多謝uj5u.com熱心網友回復:
程式里確實有寫HBase,不過是單例模式的,連接池都有關閉了。看分析結果是netty創建了很多buffersize,這塊不怎么了解轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/45857.html
標籤:Spark
