mysql - 将数据从配置单元中获取到 mysql @ AWS 中？

Question

我喜欢使用 Sqoop，但认为不值得仅仅为此在 ElasticMapReduce(我非常喜欢)上运行 Cloudera stack @ AWS。

我目前的想法是将我需要的数据写入@S3 的外部表中，然后编写一个脚本将其导入到mysql 中。亚马逊有一些关于 SimpleDB 的东西(example)，但我也不确定那条路线？对 S3 中的数据很好，只是想知道是否有人有更好的主意。

谢谢!

Answer 1

我使用并且效果很好的最简单的解决方案:

1. 正如您建议的那样，将您的数据放入 S3 存储桶中。您可以创建一个托管在 S3 上并具有例如制表符分隔格式。如果您在最后一步使用一个 reducer，您最终只会得到一个文件。
2. 将数据下载到您的 MySQL 服务器，我最喜欢的工具是 s3cmd
3. 使用 LOAD DATA INFILE 将您的数据直接导入 MySQL...