java - 为Hadoop实现协调器服务

Question

我想实现在Namenode中运行的协调器服务。

这样，当 map task 完成其任务时，它将向namenode发送反馈，以告知“机器(x.x.x.x)已处理了块ID ...属于文件...”。 Namenode将在表中维护这些信息(例如)。

我知道这种问题太笼统，但实际上我现在陷入了困境。

我可以在Hadoop中实现此功能吗？任何人都可以给我理想或以前做过的类似任务？

Answer 1

您需要一个接收通知并将其存储在某个位置的服务(可能是Rest服务或MQ)，该服务是否运行在NameNode或群集之外的服务器上都没有关系。只是说NameNode是集群中最关键的一点，我真的不建议您使用它来部署任何其他服务。

然后，您将需要覆盖Map的清理 map 的方法，以在Map任务完成后发送“ map task 已完成”消息。

或者，您可以尝试使用Hadoop ResourceManager API来查看是否有您正在寻找的信息，而只需轮询该API即可创建一个新的信息。