求助
一個sparkstreaming程式,組件包括mysql kafka 和redis
local[*]模式下測驗消費性能很好,一個磁區能處理4w記錄
換到yarn模式涼涼,可以不停的接收資料,可是batch處理不了,任務卡住不動,不管yarn client還是yarn cluater都不行,資源給的也很大,設定maxbatchsize 40可以消費,400就消費不行了,運行也不報錯
不知道哪里出問題,求指教





uj5u.com熱心網友回復:
如果不是作業的話,建議改學flink+k8suj5u.com熱心網友回復:
業務需要,視窗消費模式更合適
uj5u.com熱心網友回復:
定位到問題,關于driver端與executor端代碼執行相關
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/19006.html
標籤:Spark
上一篇:用Linux系統完成以下操作
