nutch - 如何加快在 Nutch 中的爬行

Question

我正在尝试开发一个应用程序，在该应用程序中，我将为 Nutch 中的 urls 文件提供一组受限的 url。我能够抓取这些 url 并通过从段中读取数据来获取它们的内容。

我通过提供深度 1 进行爬网，因为我不关心网页中的外链或内链。我只需要 urls 文件中该网页的内容。

但是执行此爬网需要时间。所以，建议我一种减少爬行时间并提高爬行速度的方法。我也不需要索引，因为我不关心搜索部分。

有没有人有关于如何加快爬行速度的建议？

Answer 1

获得速度的主要事情是配置 nutch-site.xml

<property>
<name>fetcher.threads.per.queue</name>
   <value>50</value>
   <description></description>
</property>