gpt4 book ai didi

hadoop - 我们可以将输出结果附加到不同MR Job的相同HDFS位置吗?

转载 作者:行者123 更新时间:2023-12-02 22:05:07 25 4
gpt4 key购买 nike

我们可以将不同MR作业的输出结果附加到已经具有某些先前MR作业数据的特定HDFS中。我问的原因是正在运行一个批处理过程,在此过程中,我想在CSV格式的单个输出文件中获取所有MR作业的输出,以便我可以一次加载Hive表。

最佳答案

您如何运行 map 归约工作?如果您使用的是hadoop流和Pig,则可以指定输出目录。至于配置单元,请创建指向该目录的外部表-无论是一个大文件还是一组小文件都没有关系。

关于hadoop - 我们可以将输出结果附加到不同MR Job的相同HDFS位置吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26013667/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com