gpt4 book ai didi

amazon-s3 - 为 Athena 分区重命名 S3 文件夹结构

转载 作者:行者123 更新时间:2023-12-02 19:09:37 26 4
gpt4 key购买 nike

我可以访问结构类似于 bucket_name/year/month/day/file.gz 的 S3 存储桶,每天有数百个文件。我知道要在此数据上定义分区的 Athena 表,需要将其命名为 bucket_name/year=year/month=month/day=day。每天写一个 shell 脚本拼写(所以,一系列

aws cp --recursive s3://old_bucket/YYYY/MM/DD/* s3://new_bucket/year=YYYY/month=MM/day=DD/

对于数据集中 YYYY/MM/DD 的每个值)

有没有更简单的方法来解决这个问题?我知道 ALTER TABLE ADD PARTITION 但它似乎又要求我单独指定每个分区。

最佳答案

您根本不需要重命名这些文件。虽然大多数示例确实使用了 Hive-style naming convention雅典娜不需要它。

There are many ways to add partitions to an Athena table .在你的情况下,我会选择 partition projection ,这将使新的数据分区立即可用。或者,您可以使用 ALTER TABLE … ADD PARTITION 手动添加分区.

要创建一个配置了分区投影的表,您可以以此为起点:

CREATE EXTERNAL TABLE my_table (

)
PARTITIONED BY (
`date` string
)
TBLPROPERTIES (
"projection.enabled" = "true",
"projection.date.type" = "date",
"projection.date.range" = "2020/01/01,NOW",
"projection.date.format" = "yyyy/MM/dd",
"storage.location.template" = "s3://bucket_name/${date}/"
)

然后你可以查询你的表

SELECT *
FROM my_table
WHERE "date" = '2020/10/24'

请注意,日期列/分区键是一个字符串而不是 DATE . Athena 将获取字符串并将其插入到 storage.location.template 给出的 URI 中。 .分区投影非常聪明,我鼓励你 read the docs找出….range是什么例如,属性(property)确实如此。

另请注意 date是一个保留字,要在 DDL 中使用它,您必须在反引号中引用它,但在查询中它需要用双引号引起来。如果你想避免必须总是引用你可以给它命名其他东西,但如果你这样做你需要在 PARTITIONED BY 中更改名称部分和 TBLPROPERTIES部分。

分区投影的替代方法是手动添加分区,这是一项相当新的功能。您可以使用 Glue Data Catalog API 执行此操作,我认为这在编写代码时更可取,或者您可以使用 DDL 执行此操作,它更紧凑且更容易适应 Stack Overflow 答案。

假设您有一个按 date 分区的表像上面一样(但没有 TBLPROPERTIES 因为它们是特定于分区投影的),您可以像这样添加分区:

ALTER TABLE my_table ADD IF NOT EXISTS
PARTITION (`date` = '2020-10-22') LOCATION 's3://bucket_name/2020/10/22/'
PARTITION (`date` = '2020-10-23') LOCATION 's3://bucket_name/2020/10/23/'
PARTITION (`date` = '2020-10-24') LOCATION 's3://bucket_name/2020/10/24/'

然后您可以像这样查询您的表:

SELECT *
FROM my_table
WHERE "date" = '2020-10-24'

请注意,我添加的分区的分区键值与日期在 S3 URI 中的表示方式不完全对应(我以标准 ISO 方式使用破折号而不是斜杠来格式化日期)。手动添加分区时,分区键的值和 S3 URI 之间根本不需要任何对应关系。

有些人会告诉您,您必须对 Athena 使用 Hive 样式的分区,然后您应该使用 MSCK REPAIR TABLE 添加分区。 .事实并非如此,正如我希望我在上面显示的那样,使用该命令添加分区不是一个好主意,它适用于几个分区,但是 eventually it will start timing out .

关于amazon-s3 - 为 Athena 分区重命名 S3 文件夹结构,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64506423/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com