例如,我用spark streaming處理一個檔案,需要關聯另一個從Hbase中取出的資料源,就是兩個資料進行關聯。hbase中的資料量比較小,我使用廣播變數處理,我想知道,如果在處理進行的時候,有極少數的情況可能會有人更新hbase中的資料,我該如何應對這樣的情況,spark中有動態加載或者定時重新加載這個資料的功能么?本人初學spark,請大家多多關照!
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/84615.html
標籤:Spark
上一篇:用sbt構建系統后打包成jar,再運行spark submit出現的一系列例外
下一篇:業界最好用的VDI基準測驗工具
