amazon-redshift - 以Parquet格式将数据文件从Amazon Redshift卸载到Amazon S3

Question

我想以Apache Parquet格式将数据文件从Amazon Redshift卸载到Amazon S3，以便使用Redshift Spectrum查询S3上的文件。我已经探索了所有地方，但是找不到有关如何使用Parquet格式将文件从Amazon Redshift卸载到S3的任何信息。是否尚不支持此功能，或者我无法找到有关此功能的任何文档。可以为从事此工作的人分享一些启示吗？谢谢你。

Answer 1

从2019年12月开始支持将Redshift卸载为Parquet文件格式:

UNLOAD ('select-statement')
TO 's3://object-path/name-prefix'
FORMAT PARQUET

在 Redshift Features中提到

并在 Unload Document中进行了更新

并在 Unload Examples Document中提供了一个示例

官方文件摘录:

下面的示例以Parquet格式卸载LINEITEM表，该表由l_shipdate列进行了分区。

unload ('select * from lineitem')
to 's3://mybucket/lineitem/'
iam_role 'arn:aws:iam::0123456789012:role/MyRedshiftRole'
PARQUET
PARTITION BY (l_shipdate);

假设有四个切片，则生成的Parquet文件将动态分区到各个文件夹中。

s3://mybucket/lineitem/l_shipdate=1992-01-02/0000_part_00.parquet
                                             0001_part_00.parquet
                                             0002_part_00.parquet
                                             0003_part_00.parquet
s3://mybucket/lineitem/l_shipdate=1992-01-03/0000_part_00.parquet
                                             0001_part_00.parquet
                                             0002_part_00.parquet
                                             0003_part_00.parquet
s3://mybucket/lineitem/l_shipdate=1992-01-04/0000_part_00.parquet
                                             0001_part_00.parquet
                                             0002_part_00.parquet
                                             0003_part_00.parquet