apache - Apache Nutch爬虫如何排除静态文件夹之类； cgi-bin，图片，css是否从NutCrawer中排除？

Question

当我们运行搜寻器时，我们会看到静态文件夹，例如； / cgi-bin，/ images，/ css等。在搜寻器作业中弹出时，我们希望将它们排除在搜寻范围之外(不是它们最终出现在索引器中)，我们不希望它们在索引器中，但是如何排除它们在搜寻器中，因此它不被这些静态文件夹占用？任何帮助表示赞赏。排除它们对性能有帮助吗？现在我们看到它是出于某种原因而获取它们。 Nutch搜寻器1.2，Lucene索引器。

Answer 1

将拒绝规则添加到conf/regex-urlfilter.txt文件。

-cgi-bin
-images
-css

注意，必须在接受所有规则之前将其添加。正则表达式文件中的 +.。