gpt4 book ai didi

hadoop - 如何设置集群中每个节点的 tasktracker 数量?

转载 作者:可可西里 更新时间:2023-11-01 15:00:51 26 4
gpt4 key购买 nike

我看到我们可以设置每个 tasktracker 的 map/reduce 任务数量,但我如何设置集群中每个节点的 tasktracker 数量?

如何关闭安全性以便我可以在每个节点上运行多个 tasktracker?在 hdfs-site.xml 中将 dfs.permissions 设置为 false 就足够了吗?

阿伦

最佳答案

为什么需要多个任务跟踪器?您可以根据您在 tasktracker 中设置的槽数运行多个作业。 JobTracker 与 tasktracker 对话以查找它在服务器上是否有任何空闲插槽(从数据所在的同一节点开始,如果没有则在其他地方)如果您有多个 tasktracker,它们将不会意识到实际负载在服务器上,性能可能会下降

您应该根据节点的内存和 CPU 能力设置插槽数、最大映射数和最大减少数(您可以从每个任务的核心开始,但如果您知道您的任务很低在 CPU 上你可以设置更高)

关于hadoop - 如何设置集群中每个节点的 tasktracker 数量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8515509/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com