gpt4 book ai didi

hadoop - 根据上次修改将文件从 s3 下载到 Hive 中?

转载 作者:可可西里 更新时间:2023-11-01 16:31:12 25 4
gpt4 key购买 nike

我想下载一组 last modified 日期在特定时间段内的文件,比如 2015-5-62015-6 -17。这些文件的内容将直接放入一个 Hive 表中以供进一步处理。

我知道this是可能的,但是它要么只适用于一个文件,要么适用于整个存储桶。我想下载某个时间范围内 last modified 的存储桶中的所有文件。

如何根据上述需求将多个文件下载到一个Hive表中?

最佳答案

你试过吗

CREATE EXTERNAL TABLE myTable (key STRING, value INT) LOCATION   
's3n://mys3bucket/myDir/* ; or
's3n://mys3bucket/myDir/filename*'(if it starts with something common)

关于hadoop - 根据上次修改将文件从 s3 下载到 Hive 中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30991639/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com