gpt4 book ai didi

amazon-s3 - AWS Glue 爬网程序 - 分区键类型

转载 作者:行者123 更新时间:2023-12-04 21:30:09 25 4
gpt4 key购买 nike

我正在使用 Spark 以 ORC 格式将文件写入 S3。
还使用 Athena 查询此数据。

我正在使用以下分区键:

s3://bucket/company=1123/date=20190207

一旦我执行 Glue 爬虫在存储桶上运行,除了分区键的类型之外,一切都按预期工作。

Crawler 在目录中将它们配置为 String输入而不是 int
是否有配置来定义分区键的默认类型?

我知道以后可以手动更改它并将 Crawler 配置设置为 Add new columns only.

最佳答案

Glue 爬虫总是将分区键视为字符串类型,遗憾的是没有可用于更改此行为的配置选项。

关于amazon-s3 - AWS Glue 爬网程序 - 分区键类型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54574987/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com