我們正在尋找添加 Kinesis Streams 和 Kinesis Firehose 以將資料從我們的 DynamoDB 操作資料存盤遷移到 S3。
我創建了 Kinesis Stream 和 Kinesis Firehose Delivery Stream 以將資料發送到 S3 存盤桶。所有插入、修改和洗掉事件都被捕獲、轉換并添加到 S3 存盤桶中，前綴為 data/[YEAR]/[MONTH]/[DAY]。
我的問題是在啟用 Kinesis 之前 DynamoDB 中的資料。將資料遷移到 S3 的最佳方法是什么。我知道您可以從 DynamoDB 表中匯出到 S3，但這會將資料放入預定義的檔案夾中。
對這里的最佳方法有任何想法嗎？
uj5u.com熱心網友回復：
DynamoDB Stream 和 DynamoDB Export 的格式不同，因為它們服務的用例略有不同。然而，可以從兩者創建單個視圖。如果您想對從 DynamoDB 匯出到 S3 的資料運行分析查詢，您可能希望使用 Athena 作為 SQL 引擎。
- 使用 DynamoDB Export ( https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DataExport.html )從 DynamoDB 匯出資料
- 在該匯出上創建一個 Athena 表
- 通過 Firehose 啟用 DynamoDB 流到 S3 ( https://aws.amazon.com/blogs/big-data/build-seamless-data-streaming-pipelines-with-amazon-kinesis-data-streams-and-amazon-kinesis- data-firehose-for-amazon-dynamodb-tables/）
- 在該流上創建一個 Athena 表
- 在這些表上創建一個統一的視圖，使它們易于查詢。
轉載請註明出處，本文鏈接：https://www.uj5u.com/caozuo/476421.html
標籤：亚马逊-s3 亚马逊-dynamodb 亚马逊运动 amazon-kinesis-firehose