我正在用 python 開發一個 AWS Lambda,它將由 API Gateway 觸發,而 lambda 將連接我的雪花。我將通過 API Gateway 處理幾個 CSV 檔案以從雪花中獲取一些資料。目前我正在使用 Python 連接器連接雪花。
我的問題是,如果我的 csv 有 100 條記錄,那么它會遞回處理這些記錄,并且每次都會連接來自 lambda 的雪花來處理每條記錄及其對性能的影響。
是否有任何方法或機制可以讓 lambda 在特定時間段內創建會話并在單個連接中處理所有記錄。
uj5u.com熱心網友回復:
據我所知,connect()會自動創建一個會持續一段時間的會話。連接后,您可以使用游標執行多個命令,而無需connect()每次都呼叫。檔案在這里。但我猜你知道這一點,你想要的是一個命令,而不是呼叫多個INSERT.
這也是可能的,使用STAGEandCOPY INTO命令代替INSERT. 您可以從 Snowflake 檔案中找到從 AWS S3 批量加載的示例。
轉載請註明出處,本文鏈接:https://www.uj5u.com/gongcheng/447474.html
標籤:python-3.x 亚马逊网络服务 aws-lambda 雪花云数据平台 雪花连接器
