amazon-web-services - 在 S3 上连接文件

Question

我们在一个 s3 文件夹中获取多个文件(130K 个文件，合并大小为 2GB)。每个文件都有Json数据，可以是一条记录，也可以是多条记录。我需要将这些文件合并成一个 Json 文件并将其存储在 s3 上。我不想将文件下载到本地机器然后合并。有没有办法使用 AWS SDK for Java 来做到这一点？

Answer 1

实现此目的的最简单方法是使用 Amazon Athena 读取和组合文件。 Athena 是基于 Presto 的托管查询服务可以读取许多不同的文件格式。

步骤流程是:

• 在 Athena 中创建表定义，定义输入文件格式和输入数据的位置
  • (您可以使用 AWS Glue 爬虫为您执行此操作)
• 使用CREATE TABLE AS查询源表
  • 这将从源文件中检索数据并将输出写入新位置
  • 您可以指定输出格式和位置

将 Athena 视为 Amazon S3 之上的“查询层”。它从给定 S3 目录中的所有文件读取输入，然后可以将结果输出回 S3。您可以执行一个简单的 SELECT * 来复制所有数据，或者您可以选择通过仅选择所需的字段和条目来操作结果(使用 SELECT 和 WHERE )。

Athena 可以从管理控制台运行，或通过普通的 AWS SDK(例如 Java)触发。

使用 Athena 的好处是不需要下载源文件和上传结果——这一切都将由 Athena 完成。

Athena 根据从磁盘读取的数据量 收费。压缩文件可降低此成本。