amazon-s3 - 为 Athena 分区重命名 S3 文件夹结构

Question

我可以访问结构类似于 bucket_name/year/month/day/file.gz 的 S3 存储桶，每天有数百个文件。我知道要在此数据上定义分区的 Athena 表，需要将其命名为 bucket_name/year=year/month=month/day=day。每天写一个 shell 脚本拼写(所以，一系列

aws cp --recursive s3://old_bucket/YYYY/MM/DD/* s3://new_bucket/year=YYYY/month=MM/day=DD/

对于数据集中 YYYY/MM/DD 的每个值)

有没有更简单的方法来解决这个问题？我知道 ALTER TABLE ADD PARTITION 但它似乎又要求我单独指定每个分区。

Answer 1

您根本不需要重命名这些文件。虽然大多数示例确实使用了 Hive-style naming convention雅典娜不需要它。

There are many ways to add partitions to an Athena table .在你的情况下，我会选择 partition projection ，这将使新的数据分区立即可用。或者，您可以使用 ALTER TABLE … ADD PARTITION 手动添加分区.

要创建一个配置了分区投影的表，您可以以此为起点:

CREATE EXTERNAL TABLE my_table (
  …
)
PARTITIONED BY (
  `date` string
)
TBLPROPERTIES (
  "projection.enabled" = "true",
  "projection.date.type" = "date",
  "projection.date.range" = "2020/01/01,NOW",
  "projection.date.format" = "yyyy/MM/dd",
  "storage.location.template" = "s3://bucket_name/${date}/"
)

然后你可以查询你的表

SELECT *
FROM my_table
WHERE "date" = '2020/10/24'

请注意，日期列/分区键是一个字符串而不是 DATE . Athena 将获取字符串并将其插入到 storage.location.template 给出的 URI 中。 .分区投影非常聪明，我鼓励你 read the docs找出….range是什么例如，属性(property)确实如此。

另请注意 date是一个保留字，要在 DDL 中使用它，您必须在反引号中引用它，但在查询中它需要用双引号引起来。如果你想避免必须总是引用你可以给它命名其他东西，但如果你这样做你需要在 PARTITIONED BY 中更改名称部分和 TBLPROPERTIES部分。

分区投影的替代方法是手动添加分区，这是一项相当新的功能。您可以使用 Glue Data Catalog API 执行此操作，我认为这在编写代码时更可取，或者您可以使用 DDL 执行此操作，它更紧凑且更容易适应 Stack Overflow 答案。

假设您有一个按 date 分区的表像上面一样(但没有 TBLPROPERTIES 因为它们是特定于分区投影的)，您可以像这样添加分区:

ALTER TABLE my_table ADD IF NOT EXISTS
PARTITION (`date` = '2020-10-22') LOCATION 's3://bucket_name/2020/10/22/'
PARTITION (`date` = '2020-10-23') LOCATION 's3://bucket_name/2020/10/23/'
PARTITION (`date` = '2020-10-24') LOCATION 's3://bucket_name/2020/10/24/'

然后您可以像这样查询您的表:

SELECT *
FROM my_table
WHERE "date" = '2020-10-24'

请注意，我添加的分区的分区键值与日期在 S3 URI 中的表示方式不完全对应(我以标准 ISO 方式使用破折号而不是斜杠来格式化日期)。手动添加分区时，分区键的值和 S3 URI 之间根本不需要任何对应关系。

有些人会告诉您，您必须对 Athena 使用 Hive 样式的分区，然后您应该使用 MSCK REPAIR TABLE 添加分区。 .事实并非如此，正如我希望我在上面显示的那样，使用该命令添加分区不是一个好主意，它适用于几个分区，但是 eventually it will start timing out .