amazon-web-services - 来自 S3 对象的 SELECT 内容可以与 API 网关一起使用吗？

Question

我的目标是在 AWS 中使用 S3 来存储 csv 文件，并使用 API 网关来查询这些对象，并理想地从 csv 文件中选择行和列，并将它们返回到我的网络应用程序中。

在 AWS 中，有一种从 S3 对象中选择内容的方法。它充当 csv 文件的过滤器，例如仅返回某些列。它可以用 SQL 编写，请参见此处: https://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectSELECTContent.html

还有一种方法是使用 API 网关作为 S3 的代理来创建 API 到存储桶中，请参见此处: https://docs.aws.amazon.com/apigateway/latest/developerguide/integrating-api-with-aws-services-s3.html

是否可以组合使用这些方法，以便我可以将 API 网关请求直接映射到来自 S3 对象查询的 SQL SELECT 内容，或者我是否需要在中间使用 Lambda 函数或其他一些技术？

Answer 1

要请求特定的文件部分，您可以自己完成或使用其中一项 AWS 托管服务 S3 Select或 Athena .两者之间的区别很简单:S3 选择一个文件，Athena 可以对整个存储桶执行请求。

根据您的情况，您可能会使用其中一种，您必须考虑所需的性能和可接受的成本。

在任何情况下，您都不能将 API 网关直接插入其中一项服务，您需要一个中间件来处理请求。

我还需要提一下，可以直接使用 S3 Select 或 Athena 绕过 API 网关。如果这样做，您将必须非常小心与所使用的访问 key 相关的权利。您可以在 IAM 中创建对 S3 的特定访问(非常狭窄)，然后使用 sdk 直接从客户端处理您的查询。您有更多的安全问题需要处理，但您避免同时使用 API 网关和 Lambda。