hadoop - 是否可以在特定的从节点上安排 Map Reduce 作业？

Question

是否可以在 Hadoop 集群中的某些特定节点而不是所有节点上安排任何 map reduce 作业？例如，在 10 个可用节点中的 4 个从属节点上。我尝试在 Google 上搜索但没有找到任何相关结果。 This page表示默认情况下所有作业都安排在整个集群上。

我的需求原因:

作为研究生水平的作业，我必须实现一个分布式关系数据库。我正在使用 Hadoop，根据分配要求，我们必须将数据复制到集群的连接机器。现在我们的一个复制模型要求在可用机器的子集上运行查询。

Answer 1

假设在 hadoop 集群上处理一些数据，你已经提交了一个 map reduce 作业，现在它所做的是作业跟踪器，它通过为不同的任务跟踪器分配、监控和协调不同的任务来扮演主人的角色。

Job tracker 将与 namenode 对话，namenode 再次扮演主人的角色，对于需要处理的数据，因为 namenode 保存了元数据的所有信息，所以它会提供特定数据所在的所有信息根据哪个 block 驻留在作业跟踪器的哪个数据节点。

作为 hadoop 框架的一部分，作业跟踪器将调用您的数据 block 所在的那些数据节点的任务跟踪器，最坏情况下该节点的任务跟踪器，该节点最接近某些数据 block 所在的数据节点。

总而言之，我们无法控制将使用哪些特定机器，这取决于您的数据 block 驻留在该特定作业的位置。如果它位于 4 台机器中，那么此时将使用 4 台机器，如果是 10 台，则将使用 10 台