hadoop - 胡闹 hadoop 只有一个奴隶正在爬行

Question

我有一个3从属hadoop集群，并且正在单个网站上进行爬网。但是，只有1个从属设备正在执行访存(尽管其他从属设备仍处于 Activity 状态)。如果仅对1个域进行爬网，这是正常行为吗？有没有办法强制其他奴隶去取东西？

谢谢。

Answer 1

作为任何Hadoop MR作业设计的一部分，必须决定如何在映射器之间划分工作。
在您的情况下，nutch按站点划分了获取过程，因此仅使用一个映射器来获取数据。如果您拥有更多站点，则将分散负载。
这是一个很好的过程描述:Nutch如何与Hadoop集群一起工作？