gpt4 book ai didi

elasticsearch - Storm 搜寻器搜寻和索引

转载 作者:行者123 更新时间:2023-12-02 22:30:02 24 4
gpt4 key购买 nike

我曾与Nutch 1x合作,用于抓取网站并使用Elasticsearch索引数据。我最近遇到过Storm Crawler,并且喜欢它,尤其是它的流式传输特性。

我是否必须为Storm-crawler要将数据发送到的ES服务器初始化并创建映射?

使用Nutch,只要我启动并运行ES索引,映射就可以自己完成……除了进行一些微调之外。 Stormcrawler也一样吗?还是我必须先初始化索引和映射?

最佳答案

很高兴听到您喜欢StormCrawler。

README和基于ES2.x的video tutorial中所述,您应该使用ES_IndexInit脚本显式设置映射。没有它,它可能会起作用,但不是最佳选择。

关于elasticsearch - Storm 搜寻器搜寻和索引,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44293818/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com