gpt4 book ai didi

hadoop - Hadoop框架如何确定要运行Map作业的节点

转载 作者:行者123 更新时间:2023-12-02 21:23:34 26 4
gpt4 key购买 nike

据我了解,HDFS中存储的文件分为多个块,每个块都复制到多个节点,默认情况下为3。 Hadoop框架如何从要复制特定块的所有节点中选择一个节点来运行映射作业。

最佳答案

据我所知,map任务的数量与块的数量相同。

参见手册here

通常,框架会选择靠近输入块的那些节点来减少map任务的网络带宽。

这是我所知道的一切。

关于hadoop - Hadoop框架如何确定要运行Map作业的节点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36687718/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com