elasticsearch - Nuct爬网脚本中的自定义选项不起作用

Question

我试图在 bin / crawl 脚本中提供自定义选项，但遇到了问题。我给了一个自定义配置以忽略我的抓取命令中的外部出站，例如:

bin / crawl -i -D elastic.index = test -D db.ignore.external.links = true urls / CrawlTest / 3

但这是行不通的。然后，我在nutch-site.xml中设置此属性，然后它开始工作。

然后，我尝试设置一个自定义配置，以将数据索引到特定的 flex 索引，而不是在bin / crawl中的nutch-site.xml中作为Java选项给出的索引。令我惊讶的是它正在工作。
我使用过的命令:

bin / crawl -i -D elastic.index = test urls / CrawlTest / 3

所以我想知道为什么我的第一个命令不起作用？我错过了什么吗？请帮忙。

Answer 1

通过进一步的研究，我得到了答案。第一个命令不起作用，因为hadoop不会将其检测为参数。应该从nutch config itselves中读取。