在開發spark-streaming的時候遇到一個比較頭疼的問題: 我有一個檔案a,里面存放的是和業務相關的一些配置資訊,啟動streaming的時候回去讀取這個組態檔,存放到記憶體hashmap, 如果我的業務資訊增多了比如向a中添加了一些配置,怎樣在不停止streaming的情況下,更新streaming中的hashmap。 如果用redis貌似可以, 但是需要來做一個服務,把本地檔案a的內容讀到redis中。 想請教一下有沒有更好的實作方式。
uj5u.com熱心網友回復:
還沒有做到你的深度,不過從看書來看,有些配置一旦設定好了以后,streaming運行的程序中就不能修改了,比如批處理間隔時間。另外,請教一下redis是個什么東西,可以用來干什么?轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/84600.html
標籤:Spark
上一篇:aws service network restart 恢復/etc/resolve.conf這個的配置,怎么不讓它重寫?
