sparkStreaming任務,剛開始啟動沒有什么問題批處理時間都在幾百毫秒內。然后大概持續幾天后(每次重啟都是)程式就是走不動了,走的很慢很慢然后我打開sparkUI界面如圖
一堆Active Batches
就是這個job處理時間都是40S所以程式走的很慢,點開看看task
這個task走了40s。后來讓運維拉了下日志,也沒看到什么ERROR連個WARN都沒有,我很費解,感覺可能是兩種問題1.配置的資源有問題2.資料傾斜但是找不到哪傾斜。
再貼個啟動腳本
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/49086.html
標籤:Spark
