java - 如何在 Nutch 2.1 solrindex 命令中过滤 URL

Question

当我运行 bin/nutch solrindex 命令时，如何防止我获取的某些页面被编入索引？我想像在提取时那样定义和使用 regex-urlfilter.txt。

我正在使用 Nutch 2.1 并根据 http://wiki.apache.org/nutch/bin/nutch%20solrindex该选项刚刚消失。我查看了源代码，找不到任何关于此事的线索。

有什么解决方法吗？

Answer 1

看来应该使用索引过滤插件。

我关注了Hartl's tutorial组织和链接源代码。

这是代码中有趣的部分:

public NutchDocument filter(NutchDocument doc, String url, WebPage page)
    throws IndexingException {
    String input_url = url;
    try {
        url = urlNormalizers.normalize(url, URLNormalizers.SCOPE_DEFAULT);
        url = urlFilters.filter(url); // filter the url
    } catch (Exception e) {
        LOG.warn("Skipping " + input_url + ":" + e);
        return null;
    }  
    if (url == null) {
        LOG.info("Skipping (filter): " + input_url);
        return null;
    }  
    return doc;
}

public void setConf(Configuration conf) {
    this.conf = conf;
    this.urlFilters = new URLFilters(conf);
    urlNormalizers = new URLNormalizers(conf, URLNormalizers.SCOPE_INJECT);
}