amazon-web-services - 数据管道(DynamoDB 到 S3) - 如何格式化 S3 文件？

Question

我有一个数据管道，可将我的 DynamoDB 表导出到 S3 存储桶，以便我可以将 S3 文件用于 QuickSight、Athena 和 Forecast 等服务。

但是，为了让我的 S3 文件与这些服务一起使用，我需要将文件格式化为 csv，如下所示:

date, journal, id
1589529457410, PLoS Genetics, 10.1371/journal.pgen.0030110
1589529457410, PLoS Genetics, 10.1371/journal.pgen.1000047

但相反，我导出的文件如下所示:

{"date":{"s":"1589529457410"},"journal":{"s":"PLoS Genetics"},"id":{"s":"10.1371/journal.pgen.0030110"}}
{"date":{"s":"1589833552714"},"journal":{"s":"PLoS Genetics"},"id":{"s":"10.1371/journal.pgen.1000047"}}

如何在 S3 中指定导出文件的格式，以便我可以使用 QuickSight、Athena 和 Forecast 等服务进行操作？我最好也使用数据管道进行数据转换。

Answer 1

雅典娜可以读JSON data .

您也可以使用 DynamoDB streams将数据流式传输到 S3。这是一篇博客文章的链接，其中包含将数据从 DynamoDB 流式传输到 S3 to be used with Athena 的最佳实践和设计模式。 .

您可以使用 DynamoDB streams to trigger AWS Lambda功能，可以transform the data并将其存储在 Amazon S3 , Amazon Redshift等等。使用 AWS Lambda，您还可以触发 Amazon Forecast重新训练，或将数据传递给 Amazon Forecast 进行预测。

或者，您可以使用 Amazon Data Pipeline将数据写入当前拥有的 S3 存储桶。然后使用 cloud watch event计划运行 lambda 函数，或 S3 event notification运行 lambda 函数。 lambda 函数可以转换文件并将其存储在另一个 S3 存储桶中以供进一步处理。