我需要從多個檔案更新 MongoDB 資料庫。
前置條件：
環境 - AWS
檔案存盤 - AWS S3
資料庫 - MongoDB
檔案數 - 100-500（大約）
資料總量 - 20-30 兆位元組
一個重要的要求是資料在保存到資料庫之前必須經過驗證。
驗證可以像檢查欄位是否存在一樣簡單。或者更復雜 - 如果物體之間存在關系，那么您需要檢查可以在不同檔案中的所有物體。
檔案數量和資料量對我來說似乎不是很大。一個可能的粗略解決方案是將所有資料加載到記憶體中，執行驗證，然后將其存盤在資料庫中。沒有記憶體或性能限制。
也許你們中的一個人已經解決了類似的問題？
uj5u.com熱心網友回復：
無論是將其加載到記憶體中，還是使用聽起來像是一種明智方法的資料庫臨時表，因為您可以在單個事務中處理它。就我個人而言，我會沿著暫存表路線走，因為這很可能會更容易和更解耦，因為我猜不同的檔案在檔案名中有某種形式的唯一識別符號，以幫助區分它是什么型別的檔案因此資料結構等。
將其放入資料庫臨時表中，然后您可以在將資料寫入真實表之前正確且輕松地處理資料。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qiye/506693.html
上一篇：.aspx頁面上的C#windows表單瀏覽器控制元件.DocumentCompleted事件
下一篇：Laravel例外：1366不正確的字串值：'\\xC0\\xA7\\xC0\\xA2%2...'列'user_agent'