java - 如何以并行方式运行 apache nutch 不同的作业

Question

我正在使用 nutch 2.3。所有作业都一个接一个地运行，即第一个生成器、获取、解析、索引等。我想同时运行一些作业。我知道有些作业不能并行运行，但其他作业可以并行运行，例如解析作业、dbupdate、indexjob 应该与 fetch 一起运行。

这可能吗？我的基本目标是一直运行 fetcher 作业。我想我们可以用不同的时间戳来做到这一点。谁能指导我正确的方法？

Answer 1

如果你查看 nutch web 应用程序服务器，你会发现它可以并行执行多个爬网作业。你应该查看 Nutch 2.3 for webapp [NutchUiServer] 的源代码。希望这会有所帮助。