gpt4 book ai didi

hadoop - 如何在Hadoop中的特定IP地址生成 map task ?

转载 作者:行者123 更新时间:2023-12-02 20:13:39 24 4
gpt4 key购买 nike

是否可以在Hadoop中的特定IP地址(或机架中具有特定机架ID的某个节点)处生成映射任务(或内部具有Map任务的TaskTracker)?
如果是,那么在此先感谢。

最佳答案

不支持“开箱即用”,因为其中一种想法是提供分布式处理和故障转移-强制任务在特定节点上运行会否定这些目标。

话虽如此,也许有一些方法可以实现这一目标(例如,我肯定看到人们尝试了他们拥有异构群集设置的地方)

  • 您可以在mapper / reducer设置中执行检查,如果任务在您也不想执行的节点上执行,则抛出异常。在作业失败之前,您需要配置配置属性以获取最大数量的失败任务。这不是一个很好的解决方案,但我再次看到它可以工作
  • 您也许可以实现自己的调度程序(而不是Capacity或Fair调度程序),但是我不确定
  • 有多少控制权

    关于hadoop - 如何在Hadoop中的特定IP地址生成 map task ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10104071/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com