gpt4 book ai didi

hadoop - 如果我在Hive中查询分区表,将运行多少mapreduce作业

转载 作者:行者123 更新时间:2023-12-02 21:17:17 26 4
gpt4 key购买 nike

这似乎有点愚蠢。但是只是想知道确切的答案。假设我有一个包含2个分区的表。如果对一个分区列运行查询,则将在后台运行多少个 map 作业。

任何帮助将不胜感激!

提前致谢

最佳答案

我已经读过,映射器的数量是根据以下公式确定的:(输入大小除以块大小)。 Hadoop 2的块大小为128 MB。

因此,我假设您可以将该分区中文件的大小除以128 MB。

关于hadoop - 如果我在Hive中查询分区表,将运行多少mapreduce作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38399896/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com