hadoop - Nutch v Solr v Nutch+Solr-6ren

hadoop - Nutch v Solr v Nutch+Solr

转载作者：可可西里更新时间：2023-11-01 15:10:57

26

4

一个相关Question on Stackoverflow存在，但六年半前有人问过。从那时起，Nutch 发生了很多变化。基本上我有两个问题。

我们如何比较 Nutch 和 Solr？
我们在什么情况下需要，为什么把这两者结合起来用于爬虫更好？它与在独立模式下(或使用 hadoop)使用它们中的任何一个有何不同？

最佳答案

在当前阶段，Nutch 只负责抓取网页，即访问网页、提取内容、查找更多链接并重复该过程(我跳过了中间的很多复杂内容，但希望你能明白这个想法)。

爬取过程的最后阶段是将数据存储在您的后端(ES/Solr 是 1.x 分支上支持的数据存储)。因此，在这一步中，Solr 开始发挥作用，在 Nutch 完成其工作后，您需要将数据存储在某个地方，以便能够在其之上执行查询:这是 Solr 的工作。

前段时间 Nutch 包含写入倒排索引的功能(如问题中所述)，但决定(也是前段时间)弃用此功能以支持使用 Solr/ES(或您使用的任何其他存储)可以为)编写一个索引器插件)。现在，索引插件是可插入的，您可以为您想要的任何数据存储编写插件。

小结:Nutch 是一个爬虫，Solr 是搜索引擎，Nutch 存储爬取的数据。

关于hadoop - Nutch v Solr v Nutch+Solr，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/41400634/

26

4

0

文章推荐： http - 测试 http 回调或 webhooks

文章推荐： c++ - 以指针为键的 map 的 value_type

文章推荐： datetime - Apache Cassandra 时区问题

numpy - 为向量矩阵 v 计算 "v^T A v"
我有一个 k*n矩阵 X 和 k*k矩阵A。对于X的每一列，我想计算标量 X[:, i].T.dot(A).dot(X[:, i]) (或者，数学上， Xi' * A * Xi )。目前，我有一个
c - 无效*v[]； v[i] = v[j]；为什么这是对的？
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它，visit the help center 。已关
javascript - VueJS - 如何注册自定义元素、、、
我是 VueJS 的新手。我已经使用 vuetify/webpack-ssr 模板创建了一个项目，现在我想创建一个登录页面，但是没有显示表单，控制台给了我以下信息: [Vue warn]: Unkno
c++ - 是否保证 C++ vector v 的 v.begin() + v.size() == v.end()？
我尝试将 value 插入到 C++ vector v 之前的第 i 元素(或元素 (i-1) 之后) )。代码很简单 v.insert(v.begin() + i, value); 我确信当 i 介
c++ - vector v 的 v[0]、v.begin() 和 v.data() 之间有什么区别？
我需要显示使用合并排序算法排序的 vector 。然而，当我使用 v.begin() 时，我的 friend 使用 v.data() 来传递 vector 。他的代码运行良好，而我的却不行。请解释。
ffmpeg - 过滤图描述中的流说明符 ':v:0' [1 :v:0] [1:a:0] [2:v:0] [2:a:0] [3:v:0] [3:v:0] concat=n=4:v=1:a=1 [v] [a] matches no streams
这是我的命令(url1、url2、url3、url4 是占位符): ffmpeg -i url1 -i url2 -i url3 -i url4 -filter_complex “[1:v:0] [1
javascript - Vue : Use data to control DOM (but v-for, v-if、v-model 和 v-show 还不够)
我以前用过Vue，我知道怎么用v-for渲染元素序列，v-if或v-show有条件地显示元素，并且 v-model例如，控制段落的内容。但现在我需要对 DOM 进行更精细的控制: 我有一个range
rust - 为什么 &v[1] + &v[2] 与 Rust 中的 v[1] + v[2] 具有相同的结果？
我正在学习所有权和借用。 borrow1 和borrow2 的区别在于在borrow2 打印时使用了&: fn borrow1(v: &Vec) { println!("{}", &v[10]
vuejs2 - v-for 内部的 v-if 和 v-else 用于不同的文本渲染
我找不到一种方法来选择不同的选项来渲染 v-for 中的文本。是否有可能或者我是否需要以不同的方式构建逻辑来执行类似于下面的代码的操作？ // i
oop - 为什么 Seq[V] 不扩展 Map[Int,V] 也不 Set[V] 扩展 Map[V,Bool]？
Iterable 的三个直接子类型是 Map , Seq , 和 Set .除了性能问题之外，似乎还有一个 Seq是从整数到值的映射，以及 Set是从值到 bool 值的映射(如果值在集合中，则为 t
java - 为什么 v != null ？ v++ : 1 is not the same as (v ! = 空？ v : 0) + 1 on incrementing a key on HashMap. 计算？
我想应用一个计算方法，如果键存在则增加值，否则将 1。有 Map map = new HashMap<>(); 我不明白为什么 for (int i = 0; i v != null ? v++ :
c - IEEE 754 : is v *= -1 always guaranteed to be the same as v = -v?
标准(IEEE 754/C)是否保证以下代码断言永远不会失败？ int main() { for ( /* all possible float / double values */ )
javascript - v-for 在 v-if 条件下，v-else 不起作用，循环重复
代码由Vue语言编写，使用Element-ui框架，如果一个对象包含某些内容，则会显示该内容，如果不包含则禁用菜单按钮。输出应该是这样的: a、b(禁用)、c、d、e 但我的是这样的: a、a(禁
vue.js - v-for 与 v-if 处于同一级别，影响 v-else
如果我这样做: {‌{ morevalue }} {‌{ value }} v-else 中的跨度也会在第二个 V-FOR 上循环，即使它上面没有任何 v-for，为什么？这是
vue.js - v-for 与 v-if 处于同一级别，影响 v-else
如果我这样做: {‌{ morevalue }} {‌{ value }} v-else 中的跨度也会在第二个 V-FOR 上循环，即使它上面没有任何 v-for，为什么？这是
javascript - 如何在 v-datatable 中使用带有动态数组的 v-switches v-model
我将 Vue.js 与 Vuetify 一起使用，我正在尝试使用 v-data-table 从后端加载菜单列表并使用对其设置一些权限v-switches 但我在尝试 v-model 数组时遇到问题:
java - Map 在按值分组后返回到 Map>，而不是 Map>>
我在 Java 的流式操作中努力维护我想要的数据结构，这很可能是由于缺乏正确的理解和实践。 public class Main { public static void main(String
javascript - 是 incorrect? 我可以在同一元素的 v-bind 中使用来自 v-for 的匹配项吗？
我正在尝试为匹配中的每个匹配呈现一些 HTML，但是，我不太确定实际上是正确的。更具体地说，我不确定我是否可以使用 v-bind:match='match'在与循环相同的元素上 v-for='ma
vue.js - 带有选择选项的 V-IF 和 V-for 循环条件似乎永远不会进入 v-else 语句
所以我想知道为什么这个 v-if 和 v-else 语句不起作用，为什么我要以不同的方式解决它。代码如下 Required: Select a Workflow {{ isChain ?
vuejs2 - 防止 v-if、v-else、v-else-if 中的相同组件标签共享一个 Vue 实例
我有一个 VueJS 组件，我在同一个模板中使用了两次来显示两组不同的数据。每个都显示在自己的使用 v-if 切换的容器在导航选项卡上。似乎这些组件被实例化为同一个实例。我调用 console

首页

博学

6Ren·AI

商城

hadoop - Nutch v Solr v Nutch+Solr