gpt4 book ai didi

hadoop - 如何在所有可用节点中运行Hive mapreduce任务?

转载 作者:行者123 更新时间:2023-12-02 21:50:43 25 4
gpt4 key购买 nike

我是Hadoop和Hive世界的新手。

我写了一个Hive查询,正在处理1.89亿行(40 GB文件)。当我执行查询时。配置单元查询在单台机器上执行,并生成许多映射和归约任务。那是预期的行为吗?

我在许多文章中都读过Hadoop是分布式处理框架。我所了解的是,Hadoop将您的工作分解为多个任务,并将这些任务分配到不同的节点,一旦任务完成,reduceer将加入输出。如果我错了,请纠正我。

我有1个主节点和2个从节点。我正在使用Hadoop 2.2.0和Hive 0.12.0。

最佳答案

您对配置单元的理解是正确的-配置单元将您的查询转换为hadoop作业,而该作业又被拆分为多个任务,分配给节点,然后依次映射>排序和混洗>减少聚合>返回配置单元CLI。

关于hadoop - 如何在所有可用节点中运行Hive mapreduce任务?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21258026/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com