amazon-s3 - 我是否需要 S3 存储桶来存储作为 Splunk Forwarder 的 AWS Batch 作业运行的 Python ETL 脚本？

Question

我正在尝试将计划的 Python ETL 脚本(在 CDK 中)部署为批处理作业(Fargate？)，以解析来自 AWS 和我们使用的其他工具的数据。 Spunk 转发器使用此数据并将其发送到我们的 Splunk 索引。我是否需要一个 S3 存储桶来输出 ETL 脚本的日志？如何将 Splunk Forwarder 与这些脚本一起部署？

我想通过 CDK 部署大约 5-6 个脚本。

Answer 1

AWS Batch 作业可以将 STDERR 和 STDOUT 发送到 CloudWatch Logs。取决于 Python 脚本中日志记录的配置方式，这可能是简单的答案。如果日志记录配置为写入文件，那么是的，我建议您在 ETL 完成后将文件上传到 S3。

脚本的输出(ETL 结果)需要到达某个地方，而 S3 是一个不错的选择。您的 Splunk Forwarder 可以设置为监控存储桶中的新数据和摄取。如果脚本直接将数据发送到转发器，您不需要 S3 存储桶，但我个人建议您将 ETL 数据与将结果提取到 Splunk 中分离。

Splunk 转发器(稳定服务器)将与 AWS Batch 资源分开部署。