amazon-redshift - 将压缩文件插入 RedShift

Question

我在 s3 中有一个压缩文件。我想将它插入到 RedShift 数据库中。我的研究发现做到这一点的唯一方法是启动一个 ec2 实例。将文件移到那里，解压缩，然后将其发送回 S3。然后将其插入到我的 RedShift 表中。但是我试图从外部机器的 JavaSDK 中完成这一切，并且不想使用 Ec2 实例。有没有办法让 EMR 作业解压缩文件？还是将压缩文件直接插入 RedShift？

文件是 .zip 不是 .gzip

Answer 1

您不能按照 Guy 的评论直接将压缩文件插入 Redshift。

假设这不是 1 次任务，我建议使用 AWS Data Pipeline 来执行这项工作。 See this example of copy data between S3 buckets.修改示例以解压缩然后 gzip 数据，而不是简单地复制它。

使用 ShellCommandActivity执行执行工作的 shell 脚本。如果您选择合适的 AMI 作为 EC2 资源 (YMMV)，我会假设此脚本可以调用 Java。

Data Pipeline 对于此类工作非常高效，因为它会自动启动和终止 EC2 资源，而且您不必担心在脚本中发现新实例的名称。