java - Nutch 1.6 查找重定向的原始 url

Question

我想知道在重定向后如何找到原始网址。它们实际上是在种子列表中找到的，但我不能保证哪个网址被重定向到哪个网址。在 Fetcher 阶段，我希望从 Nutch.WRITABLE_REPR_URL_KEY 读取它，但它被重定向的 url 覆盖。

有什么建议如何从crawldb、segment或linkdb中读取它们吗？

PS:我只抓取种子列表上的一级页面(深度:1)。

最好，图格塞姆。

Answer 1

您可以通过执行以下操作转储外链

bin/nutch readseg -dump crawl/segments/segmentname/ outputdir -nocontent -nofetch -    nogenerate -noparse -noparsetext

此外，为了正确遵循重定向，您可能需要在 nutch-default.xml 中更改此属性

<property>
<name>http.redirect.max</name>
<value>5</value>
<description>The maximum number of redirects the fetcher will follow when
trying to fetch a page. If set to negative or 0, fetcher won't immediately
follow redirected URLs, instead it will record them for later fetching.
</description>
</property>