java - Apache 坚果 : Manipulating the DOM before parsing

Question

我想在页面响应被处理之前删除特定元素。具体来说，我想用 i.e. 标记页面的某些部分

 <div class="noindex">I shall not be indexed</div>

并希望在 Nutch 解析之前删除它们，以便之后的 NutchDocument 中不会出现“我不会被索引”的情况。我计划用它来包围我的导航、页眉、页脚内容，因为现在它们存在于索引中的每个文档中。

谢谢，保罗

Answer 1

你有一些替代方法可以做到这一点:

• 您可以为 nutch 编写一个插件来执行此操作。这个博客有一个在 nutch 中做插件的优秀示例:http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html

• 使用提取器内容:此处 http://tomazkovacic.com/blog/122/evaluating-text-extraction-algorithms/有一些算法。也许最好的方法也是在一个插件中。