gpt4 book ai didi

hadoop - 有没有办法使YARN中的ApplicationMaster充当单个容器作业的容器?

转载 作者:行者123 更新时间:2023-12-02 21:07:45 25 4
gpt4 key购买 nike

我有一个带有DBInputSplit的自定义MR Scoop作业,该作业是仅 map 的作业,并配置了并行性,以便它计算拆分并启动那些数量的映射器,但是,如果我不提供任何并行性,我不希望YARN中的AppMaster启动另一个容器并进行管理,我想将AppMaster用作容器本身,因为DB Connection是来自映射器的单线程。有没有可用的属性来启用此功能?

最佳答案

通过启用Uber模式即mapreduce.job.ubertask.enable=true解决了这一问题

更多详细信息here

关于hadoop - 有没有办法使YARN中的ApplicationMaster充当单个容器作业的容器?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41261448/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com