gpt4 book ai didi

hadoop - 将当前日期添加到s3表位置

转载 作者:行者123 更新时间:2023-12-02 21:51:41 25 4
gpt4 key购买 nike

我有一个配置单元脚本,可将数据从dynamo-db导出到s3。
我正在尝试将日期放置到动态创建的s3文件夹的位置。
最可能我需要 hive 的内置功能。
我在网上搜寻了许多例子
(字符串dt)->并手动给出日期,但我应该自动输入日期。

编辑
应该是这样,但是我有错误,这是我当前的配置单元脚本:

CREATE EXTERNAL TABLE IF NOT EXISTS tracksTable (id bigint, json binary)
STORED BY 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler'
TBLPROPERTIES ("dynamodb.table.name" = "tablename",
"dynamodb.column.mapping" = "id:id,json:json");


SET hive.exec.dynamic.partition.mode=nonstrict;
CREATE EXTERNAL TABLE IF NOT EXISTS s3( file Array<String> )
PARTITIONED BY ( dt STRING )
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY '\001' LINES TERMINATED BY '\n'
LOCATION 's3://PATH'
WHERE dt = to_date(from_unixtime(unix_timestamp()));

INSERT INTO TABLE S3
SELECT func(json) FROM tracksTable;

最佳答案

我这样管理

  INSERT INTO TABLE S3
PARTITION(time)
SELECT func(json),from_unixtime(unix_timestamp(),'yyyy-MM-dd') AS time FROM tracksTable;

关于hadoop - 将当前日期添加到s3表位置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20096688/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com