amazon-web-services - 卡夫卡 + AWS lambda

Question

是否可以将 AWS Lambda 与 Apache Kafka 集成？我想将消费者放入 lambda 函数中。当消费者收到消息时，lambda 函数就会执行。

Answer 1

继续阿拉法特的观点。我们已经成功构建了一个基础设施，可以使用 AWS Lambdas 从 Kafka 进行消费。以下是一些陷阱:

• 确保在使用时读取时始终进行批处理和提交。
• 如果您要将批处理存储到 s3，请务必清理文件描述符。
• 如果您要将批处理转发到另一个服务，请确保清理变量。 AWS Lambda 中的变量缓存可能会导致内存溢出。
• 一个好主意是检查 Lambda 中的 context 对象还剩多少时间，并给自己一些回旋空间，以便使用您在消费者中填充的缓冲区执行某些操作，而这些操作可能不会除非您调用 close()，否则将被读取到文件中。

我们使用 Apache Airflow 进行调度。我听说 Cloudwatch 也可以做到这一点。