java - Nutch 1.4 与 Solr 3.5 http.agent.name 属性的集成

Question

我一直在尝试使用 Solr 设置 Nutch，但出现以下异常

Fetcher:“http.agent.name”属性中未列出任何代理。

Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in http.agent.name' property.

Answer 1

根据 Nutch 教程，您应该在以下文件中添加代理名称: ./conf/nutch-default.xml例如 vi/opt/nutch/conf/nutch-default.xml改变:http.agent.name 到:

    <name>http.agent.name</name>
    <value>nutch</value>

同时为 http.agent.url 和 http.agent.email 设置值对于 http.robots.agents - 确保第一个条目与您的 http.agent.name 匹配，即 http.robots.agents 胡说八道，*