mysql - AWS Data Pipeline 将 CSV 从 S3 复制到 RDS MySQL

Question

我的 S3 存储桶中有一个目录，其中包含许多格式相同的 .CSV 文件(名字、姓氏、位置、日期)。

我一直在尝试使用 Data Pipeline 将这些 CSV 文件的内容填充到 RDS MySQL 数据库表中。幸运的是，亚马逊已经为此操作提供了一个模板。

“将 S3 数据加载到 RDS MySQL 表中” http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-copys3tords.html

我已经填写了它要求的所有适当信息。

当我激活管道时，它会创建 CopyActivity 和 ShellCommandActivity。复制事件复制数据，如果 Shell 命令事件认为该表不存在，则创建该表。 Shell 命令事件成功连接到我的 RDS。

但是，我的问题是 ShellCommandActivity 在没有实际创建表的情况下切换到“FINISHED”状态，然后 CopyActivity 卡在“WAITING_ON_DEPENDENCIES”。整个过程大约需要 20 分钟。

我的所有角色都可以完全访问所有服务。

如果大家有什么见解，欢迎评论。我已经在这个问题上停留了将近 2 周了。

Answer 1

我会尝试使用从要创建的表中选择所有数据的 SQLActivity，这个新的 SQLActivity 将是 CopyActivity 的依赖项。