之前在公司用sparkStreaming做了一個實時分析,從kafka 獲取資料,通過視窗計算資料5 分鐘內的情況 ,用mapwithstate 存盤狀態 ,
當第一次啟動程式時(也就是第一批視窗的資料),一切都是正常的, 但是之后的資料都是第一個視窗的資料,打個比方,第一批資料的時間
是12:00,5分鐘一個視窗 ,到12:05 的時候時間還是12:00 那一批的資料,時間并沒有變,但是還會有增量資料 ,之前查資料說是driver
端的 資料只讀,不能更改 ,后來用了mapwithstate 還是不行 ,
求大神解答 !!!!!!!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/29239.html
標籤:Spark
上一篇:請問如何恢復LVM的磁區表
下一篇:圖解四色定理
