个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
24
4
我想选择上面的一种来构建特定网站的爬虫框架。这不是 Internet 范围内的爬网。我不是在构建搜索索引，而是对从网站上抓取特定页面感兴趣。
有人可以详细说明上述的优缺点吗？谢谢奈恩
最佳答案
您的主要任务是从网站上抓取特定页面。
Nutch:基于 Lucene Java 构建的开源网络搜索软件
Heritrix:是 Internet Archive 的开源、可扩展、网络规模、文件质量的网络爬虫项目
所以我认为 Heritrix 对于您的项目来说比 Nutch 好得多。
学习框架/库是一项有值(value)的练习。但这需要一些时间。由于您的任务不是很复杂，因此有时用 Java 从头开始编写一个简单的爬虫会不那么痛苦
关于java - 比较 Nutch 与 Heritrix，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3262786/
24
4
0
如果 Nutch 页面已经在索引中，它们会再次索引它们吗？如果是这样，我该如何更改？ 最佳答案 是和否。默认情况下，Nutch 只会在 1 个月的某个时间段(从内存中)重新索引页面，如果页面没有更改，
按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the
我正在尝试开发一个应用程序，在该应用程序中，我将为 Nutch 中的 urls 文件提供一组受限的 url。我能够抓取这些 url 并通过从段中读取数据来获取它们的内容。 我通过提供深度 1 进行爬网
我正在为我的应用程序使用 nutch 爬虫，它需要爬取一组我提供给 urls 目录的 URL，并且只获取该 URL 的内容。我对内部或外部链接的内容不感兴趣。所以我使用了 NUTCH 爬虫，
我开始使用 Apache Nutch (v1.5.1) 来索引某个域下的所有网站。 我的域中有大量网站(以百万计)，我需要逐步将它们编入索引，而不是等待整个过程结束。 我在 nutch wiki(这里
我正在使用 Nutch 抓取网站，我想解析 Nutch 抓取的 html 页面的特定部分。例如， title to search content to search
有没有什么办法可以在抓取网页的同时获取每个网页的html内容？ 最佳答案 是的，您可以实际导出已抓取片段的内容。这并不简单，但对我来说效果很好。首先，使用以下代码创建一个java项目: import
我将 re_crawler 设置为每天获取一个站点。但它获取了这个站点 3 次。 我应该用 nutch 设置什么属性？谢谢。 最佳答案 我认为您在过去几个月中自己找到了解决方案，但这里是社区的答案。
一个相关Question on Stackoverflow存在，但六年半前有人问过。从那时起，Nutch 发生了很多变化。基本上我有两个问题。 我们如何比较 Nutch 和 Solr？ 我们在什么情况
我的nutch在hadoop上运行，想查看nutch运行日志， 但找不到独立的 nutch 日志之类的输出日志。 最佳答案 如果你在hadoop上运行nutch，会生成每个phase的每个mapper
我试图使用 REST 端点公开 nutch，但在索引器阶段遇到了问题。我正在使用 elasticsearch 索引编写器将文档索引到 ES。我使用了 $NUTCH_HOME/runtime/deplo
我已经安装了完全分布式的 Hadoop 1.2.1。我试图通过以下步骤集成 nutch: 下载apache-nutch-1.9-src.zip 在nutch-site.xml中添加值http.agen
fetch of httpurl failed with: org.apache.nutch.protocol.ProtocolNotFound: protocol not found for url
我使用了从他们的 wiki 安装 nutch 的例子。我能够轻松抓取从 dmoz 中提取的多个页面。但是有没有一种配置可以抓取它在页面上找到的外部链接，或者将这些外部链接写入一个文件以供接下来抓取？
我正在使用与 mysql 集成的 Nutch 2.1。我已经抓取了 2 个站点，Nutch 成功抓取了它们并将数据存储到 Mysql 中。我正在使用 Solr 4.0.0 进行搜索。 现在我的问题是，
我想通过文本文件中的 nutch 获取抓取的内容。我已经使用了 #readseg 命令，但输出没有成果。 是否有一些插件可以让 nutch 抓取并将 url 和内容存储在文本文件中。 最佳答案 使用
我不能让 Nutch 小块地为我爬行。我从 开始bin/nutch 爬行 参数为 -depth 7 和 -topN 10000 的命令。它永远不会结束。仅在我的硬盘为空时结束。我需要做什么: 开始爬我
我在抓取我的网站时遇到问题...有一个带有两个下拉列表的表单....当我开始抓取时，抓取工具只从表单中获取部分链接....从第一个下拉列表中获取接受部分选项，从第二个下拉菜单开始......我尝试更改
我最近开始寻找 apache nutch。我可以进行设置并能够使用 nutch 抓取我感兴趣的网页。我不太了解如何读取这些数据。我基本上想将每个页面的数据与一些元数据(现在是一些随机数据)相关联，并将
我关注了文章:https://wiki.apache.org/nutch/NutchTutorial并设置 apache nutch +solr。但我想澄清一下我是否对 nutch 步骤的工作理解正确
我是一名优秀的程序员,十分优秀！