amazon-web-services - 如何在 AWS S3 中生成 1 TB 的 TPC-DS 基准测试数据？

Question

我想直接在 AWS S3 中生成 TPC-DS 数据(1 TB 和 10 TB)，而不是从本地机器传输到 s3。最简单的方法是什么？

Answer 1

我几个月前做过类似的工作，hive-testbench可以是一个选项。查看 README.md 了解如何实现它。

您需要将$HADOOP_HOME/etc/hadoop/core-site.xml中的fs.defaultFS配置到您的AWS S3 bucket中，数据将在AWS中生成直接。
将数据比例参数传递给./tpcds-setup.sh，生成不同比例的日期。