gpt4 book ai didi

hive - Hadoop hive : create external table with dynamic location

转载 作者:行者123 更新时间:2023-12-01 04:44:12 25 4
gpt4 key购买 nike

我正在尝试创建一个指向 S3 输出文件的 Hive 外部表。
文件名应反射(reflect)当前日期(它始终是一个新文件)。

我试过这个:

CREATE EXTERNAL TABLE s3_export (...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION concat('s3://BlobStore/Exports/Daily_', from_unixtime(unix_STRING(),'yyyy-MM-dd'));

但是我得到一个错误:
失败:解析错误:第 3:9 行不匹配的输入“concat”期望表位置规范中“LOCATION”附近的 StringLiteral

有什么办法可以动态指定表的位置吗?

最佳答案

好的,我找到了配置单元变量功能。所以我按如下方式在 cli 中传递位置

hive -d s3file=s3://BlobStore/Exports/APKsCollection_test/`date +%F`/

然后在hive命令中使用变量

CREATE EXTERNAL TABLE s3_export (...)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '${s3File}';

关于hive - Hadoop hive : create external table with dynamic location,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17525789/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com