gpt4 book ai didi

hadoop - 在 Amazon Web Services 和 Local 上集成 Solr + Hadoop 和 Nutch + Hbase

转载 作者:行者123 更新时间:2023-12-02 21:55:11 25 4
gpt4 key购买 nike

我在 Amazon Web Services 上有一台机器,我正在尝试一些搜索功能。我已经在我的 AWS 机器上安装了 Nutch 和 Hbase。

我以爬取 wikipedia.org 为例,爬取的数据存储在云端的 Hbase 中。

我想安装 Solr 并对其进行搜索。我没有将我的系统安装为集群,因为我只是想进行一些研究,即如何使用它等。

我的问题是 Hadoop 在这个系统中的位置(我还没有安装 Hadoop)?在我的本地计算机上安装 Hadoop 和 Solr 是否合乎逻辑。此外,我的下一个挑战将是如何将我的本地计算机与 AWS 计算机通信。

最佳答案

如果你安装了 Nutch,你已经有了 Hadoop,它会处理你的爬取和解析。
您可以将 Nutch 生成的数据推送到 Solr 进行索引。

关于hadoop - 在 Amazon Web Services 和 Local 上集成 Solr + Hadoop 和 Nutch + Hbase,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15303987/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com