amazon-web-services - 在无服务器 AWS 上处理相当大的文本文件

Question

我正在尝试找出一种架构，用于在无服务器 AWS 上处理相当大的文件(可能几百 MB)。这是我到目前为止所得到的:

API Gateway -> S3 -> Lambda function -> SNS -> Lambda function

在这个场景中，文本文件通过API网关上传到S3。然后根据在 S3 上生成的事件调用一些 Lambda 函数。此 Lambda 函数将打开文本文件并逐行读取，生成要作为 SNS 主题中的消息完成的任务。每条消息都会调用一个单独的 Lambda 函数来处理任务。

我唯一关心的是第一个 Lambda 函数调用。如果超时怎么办？我如何确保这不是一个故障点？

Answer 1

您可以要求 S3 仅返回给定对象的特定字节范围，使用 Range header :https://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectGET.html

例如:

Range: bytes=0-9

只会返回 S3 对象的前 10 个字节。

要逐行读取文件，您必须决定特定的 block 大小(例如 1 MB)，一次读取文件的 1 个 block 并逐行拆分 block (通过查找换行符) .读取整个 block 后，您可以重新调用 lambda 并将 block 指针作为参数传递。 lambda 的新调用将从作为参数给定的 block 指针读取文件。