我創建一個機器學習應用程式,它應該在號碼保存到資料庫中本地和頻繁。這些數值是相連的,這基本上意味著我想通過在串列中附加一個數字來頻繁更新時間序列的值。
一個理想的情況是能夠保存鍵值對,其中鍵代表陣列的名稱(例如 train_loss),值代表時間序列。我的第一個想法是利用redis但據我所知 redis 資料只保存在 RAM 中?我想要實作的是在每個日志之后或者每兩個日志之后保存到磁盤。
我需要本地保存資料,因為這些資料將被其他應用程式(在 javascript 中)使用。因此,一些類似 JSON 的格式會很好。使用 JSON 檔案(和 Python json 包)是一種選擇,但我相信它會因為頻繁更新而導致 I/O 瓶頸。
我基本上是在嘗試創建一個像 Tensorboard 這樣的網路應用程式的克隆。
uj5u.com熱心網友回復:
我們在托管應用程式后端使用的一種用于頻繁使用的讀取/發布 api 的技術是同時寫入 Redis 和 DB,在讀取操作期間,我們檢查密鑰是否在 Redis 中可用,如果不可用,我們將讀取將其更新到 Redis,然后為其提供服務
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/403355.html
標籤:
上一篇:JQ在多個檔案中拆分JSON
下一篇:將json物件傳播到可迭代物件中
