java - 如何在 Hadoop mapreduce 中处理负载平衡？

Question

如何在 Hadoop mapreduce 中处理负载平衡？我正在编写一个分布式应用程序，其中服务器根据基准测试、可用内存、CPU 内核数、CPU 使用率、可用 GPU 数/使用情况将作业分配给工作节点？我对 mapreduce 不是很有经验，并且已经阅读了 apache 网站上的一些文档，但我仍然不确定如何着手解决这个问题。我可以进行基准计算并获取所有这些信息，然后通过算法动态拆分输入吗？

谢谢!

Answer 1

“MapReduce 是一种用于处理和生成大型数据集的编程模型和相关实现”摘自 MapReduce 论文摘要。

正如您在评论中所说，您的项目似乎不是数据密集型而是计算密集型，因此我认为 MapReduce 不是您需要使用的工具。