amazon-web-services - 如何在数百个 AWS 实例上拆分数据文件？

Question

我有一个 json 文件，其中包含数以万计的个人工作详细信息。这些作业可以通过单个脚本执行并相对快速地完成。

我计算出 AWS 中的 500 个实例将在 1 小时内完成这项工作，并使我的成本保持在可承受范围内。

如何让每个实例运行不同的数据 block ？

Answer 1

一种选择是在单个 RunInstances 请求中从同一个 AMI 启动多个 EC2 实例，并让每个 EC2 实例从 S3 读取相同的 JSON 文件。

然后每个实例都会 query它自己的 ami-launch-index 来自其元数据服务。该 ami-launch-index 在与给定 RunInstances 请求相关的每个 EC2 实例上都是唯一的，并且编号从 0 到 N-1(其中 N 是您启动的实例数)。

每个 EC2 实例然后可以根据其本地 ami-launch-index(我们称之为 K)处理 JSON 文件中作业列表的子集，例如索引 K、K + N、K 处的作业+ 2N, ...

另一个选择是编写一个脚本来预先解析 JSON 文件，决定每个 N EC2 实例应该处理哪些作业，然后将列表的子集传递到用户数据中的每个 EC2 实例，例如将其写入实例上的 json 文件。在实例上运行的应用程序将读取该本地文件并处理相关作业。