amazon-web-services - AWS Athena : use "folder" name as partition

Question

我在s3中存储了成千上万个单独的json文件(对应于一个Table行)，其路径如下:s3://my-bucket/<date>/dataXX.json
当我在DDL中创建表时，是否可以按S3路径中的当前分区对数据进行分区？ (或至少将值添加到新列中)

谢谢

Answer 1

遗憾的是，雅典娜不支持此功能。要使用文件夹进行分区，必须对文件夹的命名方式提出要求。

例如
s3://my-bucket/{columnname} = {columnvalue}/data.json

在您的情况下，如果您将那些分区手动添加到表中，则仍可以使用分区。

例如
ALTER TABLE表名ADD PARTITION(datecolumn ='2017-01-01')位置's3://my-bucket/2017-01-01/

AWS文档针对该主题提供了一些很好的示例。

AWS Athena Partitioning