gpt4 book ai didi

hadoop - 执行 Hive 查询时分配了多少个 Mappers 和 Reducers

转载 作者:可可西里 更新时间:2023-11-01 15:05:35 25 4
gpt4 key购买 nike

当执行 Hive 查询时,执行了多少个映射器/缩减器或当执行一个 Hive 查询时,如何确定将如何执行映射器和缩减器?

最佳答案

映射器的数量取决于作业客户端计算的输入分割数。

Hive 查询就像一系列 Map reduce 作业。如果您编写一个简单的查询,例如 select Count(*) from Employee,则只会执行一个 Map reduce 程序。如果你给出一个包含大量聚合和连接等的复杂查询,将执行一系列 Map Reduce 程序,这些程序使用早期 MR 阶段的输出作为下一个 MR 阶段的输入,最终结果将转储到 HDFS。

reducer 的数量可以由开发人员在 Hive Shell 中设置为 ma​​pred.reduce.tasks=x

关于hadoop - 执行 Hive 查询时分配了多少个 Mappers 和 Reducers,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29732748/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com