amazon-web-services - 将数据从 AWS SQS 传输到 S3 的最佳方式是什么？

Question

情况是这样 - 我有一个大型数据集，暂时保留在 AWS SQS 中(大约 200GB)。

我的主要目标是存储数据，以便我可以访问它以使用 AWS 构建机器学习模型。我相信，我应该将数据传输到 S3 存储桶。虽然处理小数据集很简单，但我不确定处理大数据集的最佳方法是什么。

我无法在笔记本电脑上本地执行此操作，是吗？那么，我应该创建一个 ec2 实例并在那里处理数据吗？亚马逊有这么多不同的解决方案和集成方式，所以有点令人困惑。

谢谢你的帮助!

Answer 1

for building a machine learning model using also AWS. I believe, I should transfer the data to a S3 bucket.

恕我直言好主意。实际上，S3 是保留数据并能够重用它们的最佳选择(与 sqs 不同)。 AWS 工具(sagemaker、ml)可以直接使用存储在 s3 中的内容。大多数机器学习框架都可以读取文件，您可以在其中轻松地从 s3 复制文件或将存储桶挂载为文件系统(不是我最喜欢的选项，但可能)

And while it is straightforward when you deal with small datasets, I am not sure what the best way to handle large ones is.

这取决于您拥有哪些数据以及您希望如何存储和处理数据文件。

如果您计划为每个 sqs 消息创建一个文件，我建议创建一个 lambda 函数(假设您可以相当快地读取和存储消息)。

如果您想聚合和/或连接源消息或处理消息会花费太长时间，您可能宁愿编写一个脚本来读取和处理服务器上的数据。

There is no way I can do it locally on my laptop, is it? So, do I create a ec2 instance and process the data there?

好吧 - 理论上你可以在你的笔记本电脑上做，但这意味着下载 200G 和上传 200G(不计算开销和速度延迟)

恕我直言，您的直觉很好，在同一地区拥有 EC2 是最可行的，几乎可以在本地访问所有数据

Amazon has so many different solutions and ways of integration so it is kinda confusing.

您有许多适用于不同用例的选项，通常是重叠的，因此确实看起来令人困惑