elasticsearch - 什么是 Elasticsearch 的 Nutch 1.10 爬行命令

Question

使用 Nutch 1.10(新手)，我正在尝试学习如何使用 Nutch 1.10 进行爬网并使用 ElasticSearch 作为我的索引器。不知道为什么，但我无法让这个抓取命令工作:

bin/crawl -i --elastic -D elastic.server.url=http://localhost:9200/elastic/ urls elasticTestCrawl 1

更新:刚刚使用

bin/crawl -i -D elastic.server.url=http://localhost:9200/elastic/ urls/ elasticTestCrawl/  2

--几乎成功，当涉及到命令的索引部分时收到以下错误:

Error running:
  /home/david/apache-nutch-1.10/bin/nutch clean -Delastic.server.url=http://localhost:9200/elastic/ elasticTestCrawl//crawldb
Failed with exit value 255.

nutch 1.x 的退出值 255 是多少？以及为什么“-D和弹性...”之间的空格会被删除

我有这些来自 here 的 ElasticSearch 属性在我的 nutch-site.xml 文件中:

如果有人可以指出我的方式错误，那就太好了!

更新
我刚刚在下面发布了我自己的答案，这是第二个。几个月前，当我最初开始工作时，我已经接受了第一个答案。我的回答更加简洁明了，让 Nutch 入门变得更容易(和更快)。

Answer 1

不幸的是，我无法告诉您哪里出了问题，因为我在同一条船上，尽管据我所见，您在同一个盒子上运行 nutch 和松紧带，因为我将它分成了两个。

我还没有让它工作，但根据我发现的关于将 nutch 1.7 与弹性集成的指南，它应该是

bin/crawl urls/ TestCrawl -depth 3 -topN 5

可能只是它对我不起作用，因为我添加了网络的额外复杂性。

我还假设您已经在弹性实例中创建了一个名为 elasticTestIndex 的索引，并在尝试运行爬网之前在盒子上启动了它？

如果我得到那个命令的指南有帮助的话

https://www.mind-it.info/integrating-nutch-1-7-elasticsearch/

更新:

我不确定我是否已经完成了，但使用您的更新，我比以前更进一步了。

您正在输入端口 9200，这是 Web 管理端口，但您需要使用端口 9300 与服务交互，因此将端口更改为 9300

我不确定，但我认为斜线后面的部分指的是索引，所以在你的例子中，确保你将“弹性”设置为索引。或改变

blah (low rep score so can't put in to many urls) blah localhost:9300/[index name]/

以便它使用您创建的索引。如果您还没有创建一个，那么您可以使用以下命令从腻子中创建。

curl -XPUT 'http://localhost:9200/[index name]/'

使用您提供的替代端口的命令，它确实运行了，尽管我还没有从弹性中提取爬网数据。

补充更新:

它成功地将从 nutch 爬取的数据转储到弹性中，并在命令行中放入了不同的索引，我可以告诉你它会忽略它并使用你的 nutch-site.xml 中的任何内容