amazon-web-services - 使用 AWS Lambda 函数访问存储在 AWS s3 中的大文件

Question

我在 s3 中存储了超过 30GB 的文件，我想编写一个 Lambda 函数来访问该文件，对其进行解析，然后对其运行一些算法。我不确定我的 lambda 函数是否可以获取那个大文件并对其进行处理，因为 Lambda 函数的最大执行时间为 300 秒(5 分钟)。我发现 AWS S3 功能有关更快的加速，但它有帮助吗？

考虑到 lambda 函数以外的场景，任何人都可以建议任何其他服务将我的代码托管为微服务并解析文件吗？

提前致谢

Answer 1

完全根据加工要求和加工频率而定。

您可以使用 Amazon EMR 解析文件并运行算法，并根据需要终止集群或保持集群运行以进行频繁处理。 https://aws.amazon.com/emr/getting-started/

您可以尝试使用 Amazon Athena(最近推出)服务，这将帮助您解析和处理存储在 S3 中的文件。亚马逊将负责基础设施需求。 http://docs.aws.amazon.com/athena/latest/ug/getting-started.html

对于复杂的处理流程要求，您可以结合使用 AWS DataPipeline 等 AWS 服务(用于管理流程)和 AWS EMR 或 EC2(用于运行处理任务)。 https://aws.amazon.com/datapipeline/

希望对你有帮助，谢谢