java - 批量将100万行CSV写入S3

Question

我正在尝试在 S3 上构建一个非常大的 CSV 文件。

• 我想在 S3 上构建此文件
• 我想批量向此文件追加行。
• 行数可以在 10k 到 1M 之间
• 每个批处理的大小可能< 5Mb(因此分段上传不可行)

完成这样的事情的正确方法是什么？

Answer 1

传统上，在大数据处理(“数据湖”)中，与单个表相关的信息存储在目录而不是单个文件中。因此，向表添加信息就像向目录添加另一个文件一样简单。目录中的所有文件都需要具有相同的架构(例如 CSV 列或 JSON 数据)。

文件目录可以与以下工具一起使用:

• Hadoop 上的 Spark、Hive 和 Presto
• 亚马逊雅典娜
• Amazon Redshift Spectrum

这种方法的好处是上述系统可以并行处理多个文件，而不是仅限于以单线程方法处理单个文件。

也常见的是使用gzip等技术压缩文件。这降低了存储要求并加快了从磁盘读取数据的速度。添加其他文件很容易(只需添加另一个 csv.gz 文件)，而不必解压缩、追加和重新压缩文件。

底线:建议重新考虑您对“一个伟大的大型 CSV 文件”的要求。