gpt4 book ai didi

hadoop - 如何设置hadoop中的节点数?

转载 作者:可可西里 更新时间:2023-11-01 14:59:42 26 4
gpt4 key购买 nike

我正在使用由我们部门的技术人员管理的 hadoop 集群。要使用它,我只需要在两个文件(core-site.xml 和 mapred-site.xml)中设置参数就可以了。

我的问题是,有没有办法控制我的 hadoop 程序中涉及的节点数?我知道如果我自己管理集群,我可以修改配置文件中的重复项数。但由于我无权访问该文件,我似乎运气不好。

我知道 setNumMapTasks() 和 setNumReduceTasks() 方法。这两种方法可以通过编程方式设置 map/reduce 任务的数量。但是这些数字不一定转化为实际运行的节点,对吧?

我听说 Amazon EC2 允许您使用命令设置涉及的节点数,常规的 hadoop 实现是否允许这样做?

谢谢。

最佳答案

没有。它不能通过程序来完成。您可以更改配置以实现它

关于hadoop - 如何设置hadoop中的节点数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10271792/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com