最近有個任務是持續輪詢的將redis的資料寫入hdfs，對spark的呼叫就是簡單的一句 spark sql insert table xxxx
spark版本 2.3.2 ，driver（16g） ， 7 executor（8g）
但就是這個簡單任務發現executor的記憶體不斷上升（driver不會，rss已到5G），但看jvm卻一點問題沒有，以下是通過vjtools的vjtop監控截屏，初步懷疑是Netty的堆外記憶體導致的，但不知要如何設定才能避免這種問題？
運行一天，記憶體不斷上升，swap也開始使用了，等swap用完估計executor就會dead了
uj5u.com熱心網友回復：
我也碰到過，沒解決，只能寫個腳本每天半夜重啟一次，等大牛解答。
uj5u.com熱心網友回復：
（1）持續輪詢是無限死回圈？？ 還是外部調度spark程式？讀取很快，寫入比較慢，或者檔案多而小，導致擁堵，一直堆積，記憶體持續上升，去觀察觀察spark的stage.
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/39334.html
標籤：Spark