我有一個由幾個大型 csv 檔案組成的資料集。它們的總大小大于執行訓練的機器的 RAM。
我需要從 Scikit-Learn 或 TF 或 pyTorch 訓練一個 ML 模型（想想 SVR，而不是深度學習）。我需要使用不可能一次加載的整個資料集。請問有什么辦法可以克服這個問題嗎？
uj5u.com熱心網友回復：
我以前也遇到過這種情況，我的建議是退后一步，重新審視這個問題。
您的模型是否絕對需要一次所有資料？還是可以分批進行？也有可能您使用的模型可以批量完成，但是您使用的庫不支持這種情況。在這種情況下，要么嘗試找到一個支持批處理的庫，要么如果這樣的庫不存在（不太可能），自己“重新發明輪子”，即從頭開始創建模型并允許批處理。但是，正如您提到的問題，您需要使用來自 Scikit-Learn、TensorFlow 或 PyTorch 的模型。因此，如果您真的想堅持使用您提到的庫，那么有一些技術，例如 Alexey Larionov 和 I'mahdi 在您對 PyTorch 和 TensorFlow 的問題的評論中提到的技術。
您的所有資料是否真的相關？一旦我發現我的整個資料子集對我試圖解決的問題毫無用處；還有一次我發現它只是有點幫助。降維、降維和統計建模可能是你的朋友。以下是有關資料縮減的維基百科頁面的鏈接：
https://en.wikipedia.org/wiki/Data_reduction
資料縮減不僅會減少您需要的記憶體量，還會改進您的模型。壞資料輸入意味著壞資料輸出。
轉載請註明出處，本文鏈接：https://www.uj5u.com/ruanti/495330.html
標籤：Python 张量流 机器学习 scikit-学习 大数据