gpt4 book ai didi

amazon-s3 - 如何保存 impala 查询的结果

转载 作者:行者123 更新时间:2023-12-01 13:51:10 25 4
gpt4 key购买 nike

我已经将大量数据从 S3 加载到 hdfs 中,然后将数据插入到 impala 中的表中。

然后我针对这些数据运行了一个查询,我希望将这些结果返回到 S3。

我正在使用 Amazon EMR 和 impala 1.2.4。如果无法将查询结果直接返回到 S3,是否可以选择将数据返回到 hdfs,然后将其从那里发送回 S3?

我弄乱了 impala-shell -o filename 选项,但这似乎只适用于本地 linux 文件系统。

我认为这会是一种常见的情况,但是找不到任何关于在任何地方保存查询结果的信息。

感谢任何指点。

最佳答案

为了增加上述知识,我包括了将查询结果写入带有分隔符的文件的命令,正如我们使用选项 --output_delimeter 声明的那样,也通过使用选项--delimeted 这实际上关闭了默认的制表符分隔符选项。

  impala-shell -q "query " --delimited   --output_delimiter='\001'  --print_header -o 'filename'

关于amazon-s3 - 如何保存 impala 查询的结果,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31508667/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com