我需要將資料從 RDS 遷移到 BQ，以便我可以在 Vertex AI 上運行模型。
來自 RDS 的表需要盡可能快地在 BQ 上，主資料庫和 BQ 副本之間的同步延遲較低。
我想創建一個觸發器，當RDS上的資料庫更新時，它會自動更新BQ資料庫。
我看到了 BQ 資料傳輸服務工具，它可以用于這種情況嗎？我可以在觸發時間的基礎上為每個作業遷移多個表嗎？
uj5u.com熱心網友回復：
BigQuery Data Transfer Service 是 GCP 中用于紅移遷移到 Bigquery 的工具。有關遷移的先決條件和權限等要求，您可以參考此 GCP 檔案：https : //cloud.google.com/bigquery-transfer/docs/redshift-migration#overview
對于從 redshift 到 Bigquery 的實時更新要求，BigQuery Data Transfer 僅在預定的托管基礎??上傳輸。GCP 檔案：https : //cloud.google.com/bigquery-transfer/docs/introduction
對于在觸發時間為每個作業遷移多個表的要求，BigQuery 為每個加載作業、每個表提供 15 TB 的負載配額。您可以參考此檔案了解配額和限制：https : //cloud.google.com/bigquery-transfer/docs/redshift-migration#quotas_and_limits。鑒于此限制，GCP 可通過以下公式幫助您估計傳輸需要多少加載作業以提高效率：
Number of daily jobs = Number of transfers x Number of tables x Schedule frequency x Refresh window
您可以參考此檔案以進一步解釋此公式：https : //cloud.google.com/bigquery-transfer/quotas#load_jobs
轉載請註明出處，本文鏈接：https://www.uj5u.com/gongcheng/403117.html
標籤：