是否有任何解決方案可以從 Python 中檢索 Salesforce 資料,每個塊有超過 2000 條記錄?我已經使用 REST API 來檢索資料并檢查下一個塊的nextRecordsUrl。但如果是一百萬條記錄,這個解決方案將需要時間。我試圖找到一個 Salesforce 引數來增加每個塊的記錄數(>2000 條記錄),但還沒有找到。
另一個想法是,如果我們知道有多少 nextRecordsUrl,我們可以在 Python 中使用多執行緒來檢索資料。但似乎我們需要提交每個 nextRecordsUrl 才能獲得下一個。
如果您有其他想法,請提出建議。目前,我無法在 SQL 中使用某些過濾條件來限制資料。
uj5u.com熱心網友回復:
您可以考慮使用 Bulk API 查詢,它可以讓您以 10K 塊的形式回傳資料。但它伴隨著一些思維轉變。您的正常 API 是同步的(給我下一個塊,等待,給我下一個塊,等待)。使用 Bulk API,您可以提交作業,并且不時詢問“完成了嗎”。
甚至還有一個稱為“PK 分塊”的功能(按主鍵拆分結果)
考慮通過線索:https ://trailhead.salesforce.com/content/learn/modules/large-data-volumes
還可以使用 Salesforce 的資料加載器。以正常方式查詢您的東西并測量時間,然后選擇批量 api 選項。應該讓您了解瓶頸是什么以及大重寫是否會有所收獲。
https://developer.salesforce.com/docs/atlas.en-us.230.0.api_asynch.meta/api_asynch/asynch_api_bulk_query_intro.htm
轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/424575.html
