目前，我們使用 AWS IAM 用戶永久憑證按照 BigQuery 資料傳輸服務檔案將客戶資料從我們公司的內部 AWS S3 存盤桶傳輸到客戶的 Google BigQuery 表。
使用永久憑證存在與存盤在 AWS S3 中的資料相關的安全風險。
我們想使用 AWS IAM 角色臨時憑證，這需要 BiqQuery 端的會話令牌的支持才能在 AWS 端獲得授權。
BigQuery Data Transfer Service 是否可以使用 AWS IAM 角色或臨時憑證來授權 AWS 并傳輸資料？
我們考慮使用 Omni 框架 ( https://cloud.google.com/bigquery/docs/omni-aws-cross-cloud-transfer ) 將資料從 S3 傳輸到 BQ，但是，我們面臨幾個問題/限制：
- Omni 框架針對資料分析用例，而不是來自外部服務的資料傳輸。這讓我們擔心 Omni 框架的設計在大規模資料傳輸方面可能存在缺陷
- Omni framework 目前僅支持 AWS-US-EAST-1 區域（我們需要至少支持 AWS-US-WEST-2 和 AWS-EU-CENTRAL-1 以及相應的 Google 區域）。這與當前客戶將資料從內部 S3 傳輸到客戶 BQ 的設定不向后兼容。
- 我們當前的客戶需要注冊 Omni 服務才能從我們當前使用的傳輸解決方案中正確遷移
我們考慮了通過在 GCS 中暫存（即 S3 -> GCS -> BQ）從 S3 匯出資料的解決方法，但這也需要客戶和我們公司雙方付出大量努力才能遷移到新的解決方案。
uj5u.com熱心網友回復：
BigQuery Data Transfer Service 是否可以使用 AWS IAM 角色或臨時憑證來授權 AWS 并傳輸資料？
不幸的是沒有。
官方的 Google BigQuery 資料傳輸服務在整個檔案中只提到了 AWS 訪問密鑰：
訪問密鑰 ID 和秘密訪問密鑰用于代表您訪問 Amazon S3 資料。作為最佳實踐，專門為 Amazon S3 傳輸創建一個唯一的訪問密鑰 ID 和秘密訪問密鑰，以提供對 BigQuery 資料傳輸服務的最小訪問權限。有關管理訪問密鑰的資訊，請參閱AWS 一般參考檔案。
具有諷刺意味的是，谷歌檔案雖然提到了最佳實踐并鏈接到官方 AWS 檔案，但它實際上并不認可最佳實踐并忽略了 AWS 提到的內容：
我們建議您使用臨時訪問密鑰而不是長期訪問密鑰，如上一節所述。
重要的
除非別無選擇，否則我們強烈建議您不要為您的 (root) 用戶創建長期訪問密鑰。如果惡意用戶獲得了對您的（root）用戶訪問密鑰的訪問權限，他們就可以完全接管您的帳戶。
你有幾個選擇：
手動掛鉤雙方（即鏈接各種 SDK 和/或 API）
找到一個替代的 BigQuery 兼容服務，它是這樣做的
接受長期訪問密鑰的風險。
總之，谷歌沒有遵循安全最佳實踐是錯誤的，而你——作為消費者——將不得不承擔風險。
轉載請註明出處，本文鏈接：https://www.uj5u.com/qukuanlian/534146.html