个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
35
4
我目前正在开发自己的小型网络爬虫，并且想知道......
网络爬虫再次访问相同网站的合适间隔是多少？
您应该每天重新访问一次吗？每小时一次？我真的不知道......有人在这件事上有经验吗？也许有人可以指出我正确的方向？
最佳答案
我认为您的抓取工具访问需要是有机的。
我首先每周抓取一次列表，
当网站内容发生变化时，将其设置为每周抓取两次，[然后]当您看到更频繁的更改时，您就会更频繁地抓取。
该算法需要足够智能，才能了解一次性编辑和频繁网站更改之间的区别。
此外，永远不要忘记关注 Robots.txt...这是您在抓取过程中应该访问的第一个页面，您需要首先尊重它的内容。
关于web-crawler - 对于网络爬虫来说，合适的更新间隔是多少？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3219584/
35
4
0
关闭。这个问题是off-topic .它目前不接受答案。 想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。 8年前关闭。 Improve this q
我最近在准备面试时读了一本书，并遇到了以下问题: 当你的爬虫遇到一个蜜 jar 并生成一个无限子图供你漫步时，你会怎么做？ 我想找到这个问题的一些解决方案。就我个人而言，我会采用某种形式的深度有限搜索
我需要抓取一千个共享相同结构的网站:它们都有一个菜单、一个标题、一些文本和一个评级，很像一个博客。不幸的是，它们的编码也非常不同，有些是手动的，所以我不能重新利用 CSS 选择器，甚至可能不依赖它们。
我正在尝试抓取大约一千个网站，其中我只对 html 内容感兴趣。 然后我将 HTML 转换为 XML 以使用 Xpath 进行解析以提取我感兴趣的特定内容。 我已经使用 Heritrix 2.0 爬虫
我想从某些网站抓取有用的资源(如背景图片..)。这不是一项艰巨的工作，尤其是在一些很棒的项目(如scrapy)的帮助下。 这里的问题是我不仅只想抓取这个网站一次。我还想保持我的爬网长时间运行并爬网更新
我是 Nutch 的新手。我需要抓取网页(比如几百个网页)，读取抓取的数据并进行一些分析。 我点击了链接 https://wiki.apache.org/nutch/NutchTutorial (并且
我要爬一个网站以获取一些信息。它大约有 170 000 多页。那么，我可以提出多少请求？我要提取直到 HTML 并获取一些信息。这是一个已经很受欢迎的网站，所以我认为如果只是快速浏览所有页面它不会死.
我正在构建一个小型应用程序，它将抓取内容不断增长的站点(如在 stackoverflow 上)，不同之处在于一旦创建的内容很少被修改。 现在，在第一遍中，我抓取了站点中的所有页面。 但接下来，该站点的
我在比较这四个 Nutch/Heritrix/OpenPipeLine/Apache Tika 哪一个最好？各自的优缺点是什么？ 我想要一些可扩展的爬虫，它可以爬取网站列表，并且可以根据需要进行修改。
正如标题所说，我一直在努力爬取文章，剩下的就是作者。 下面是我的代码，使用pyquery编译段落和作者，只有作者返回空白 目标站点:http://business.transworld.net/153
我正在为旅游搜索引擎考虑一些想法，我想知道这些网站是如何获取它们的源数据的。他们是否从航空公司主页上抓取了所有内容？考虑到航空公司等的数量，这似乎是一项艰巨的工作。 是否有每个航空公司也遵守的 API
我正在测试一个新的网络爬虫，我正在寻找一些可能会绊倒它的好网站(重定向、框架、任何东西)。有人知道一些非常复杂的网站，或者可能会出错的网站吗？谢谢 最佳答案 如果你在 Alexa 前 1000 名左右
有一种方法可以从 google 的索引中排除完整的页面。但是有没有办法专门从谷歌的抓取中排除网页的某些部分？例如，排除通常包含不相关内容的侧边栏？ 最佳答案 您可以使用 IFRAME 标记包含要在 G
给定一个起始 URL start (以及关于可允许域等的一些规则)我想生成一个有向图(V，E)，其中 V 中的节点是否可以从 start 访问页面，并且有一条弧线 (u,v)在 E每当页面上有超链接时
我正在开发一个Web爬网程序，该爬网程序可以为不想被索引的网站编制索引。 我的第一次尝试: 我编写了一个C#搜寻器，它遍历每个页面并下载它们。 这导致我的IP在10分钟内被其服务器阻塞。 我将其移至A
我想知道用于抓取和分析网站的最佳 eopen-source 库是什么。一个例子是爬虫属性(property)机构，我想从多个站点获取信息并将它们聚合到我自己的站点中。为此，我需要抓取网站并提取属性(p
Builtwith.com 和类似服务提供(收费)使用特定技术(如 SalesForce 或 NationBuilder)构建的域列表。有一些我感兴趣的技术 builtwith 没有扫描，可能是因为它
我正在使用scrapy 来抓取站点上的多个页面。 变量 start_urls用于定义要抓取的页面。 我最初会从第一页开始，从而定义 start_urls = [1st page]在文件中 exampl
关闭。这个问题需要更多 focused .它目前不接受答案。 想改进这个问题？更新问题，使其仅关注一个问题 editing this post . 8年前关闭。 Improve this questi
我有一个实现无限滚动的网站:当用户到达页面末尾时，会进行 AJAX 调用并将新内容附加到页面底部。然而，这意味着搜索爬虫无法获取第一个“分页符”之后的所有内容。例如，我有一个页面列出了所有带有“信息图
我是一名优秀的程序员,十分优秀！