个人中心
文章发布
退出
作者热门文章
- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
26
4
我正在抓取网页以创建一个搜索引擎，并且使用 Scrapy 能够在 1 小时内抓取近 9300 个页面。我想知道我还能提高多少，什么值被认为是“良好”的爬行速度。
最佳答案
简短回答:没有真正推荐的创建搜索引擎的速度。
长答案:
一般来说，抓取速度并不能真正决定您的抓取工具是好是坏，甚至它是否可以作为搜索引擎的程序运行。
在谈论在多个站点上抓取大量页面时，您也不能谈论抓取速度。爬行速度应仅按站点确定，这意味着爬虫应该可以配置为可以更改它在任何特定时间访问站点的频率，you can see that Google also offers this .
如果我们谈论的是您提到的当前速率(9300/小时)，则意味着您每秒收集约 2.5 页，我认为这还不错，但如前所述，它无助于确定您的最终目标(创建搜索引擎)。
另外，如果你真的决定用 Scrapy 实现一个广泛的爬虫来创建一个搜索引擎，你永远不会只用 Scrapy 发送 1 个进程。您需要设置数以千计(甚至更多)的蜘蛛程序运行以检查以获取所需的更多信息。此外，您还必须设置不同的服务来帮助您维护这些蜘蛛以及它们在进程之间的行为方式。对于初学者，我建议检查 Frontera和 Scrapyd .
关于python - 什么是好的爬行速度？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/49494093/
26
4
0
再会! 我有一个 ActiveX 按钮(根据从顶部开始的行数锚定在位置上)，它运行 VBA 代码以在特定点插入指定数量的复制行。代码本身工作正常，但按钮“克隆”自身并将自身覆盖在新行的位置，即使我设置
我正在尝试在 Ubuntu 14.04 上部署 Nutch 2.3 + ElasticSearch 1.4 + HBase 0.94 以下 tutorial .当我尝试开始爬行注入(inject)网址
我正在尝试爬行某个驱动器并从埋藏在子目录中的某些 .xls 文件中获取数据。该驱动器超过 1 TB，并且文件夹并不都具有相同的层次结构，因此我正在遍历所有文件夹。到目前为止，该脚本运行良好。 问题是，
首先，我希望抓取是从桌面 .exe 向网站发送请求并获取数据的正确词。如果是，我应该使用什么库或插件？我是否应该使用另一种语言来执行此操作(如 Java 或其他语言？)。我需要一些“提示”，因为我真的
这是我的代码: def parse(self, response): selector = Selector(response) sites = selector.xpath("//
完整的 Node.js 菜鸟，所以不要评判我...... 我有一个简单的要求。爬取网站，查找所有产品页面，并保存产品页面中的一些数据。 说的更简单，做的更简单。 查看 Node.js 示例，我找不到类
我花了很多时间玩弄和使用谷歌，但我无法解决我的问题。我是 Scrapy 的新手，希望你能帮助我。 部分有效的爬虫:我从 MySQL 数据库中定义我的 start_requests url。使用“par
老方法 当我以前在需要内容被搜索引擎索引的项目中异步加载页面时，我使用了一种非常简单的技术，那就是 Page $('#example').click(function(){
我正在尝试使用 Scrapy 抓取 ajax 站点，网址是 http://www.target.com/p/bounty-select-a-size-white-paper-towels-12-meg
我正在尝试按照 NutchTutorial 运行基本爬网: bin/nutch crawl urls -dir crawl -depth 3 -topN 5 所以我已经安装了 Nutch，并使用 So
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visit the help center . 关闭 1
我做了一个抓取脚本，通过爬行逐一抓取任何网站(要输入的url)的内部页面，获取其他内部url并处理它们以获取所有页面并提取其纯文本(剥离的html)。请参阅my previous回答。该脚本运行良好，
无论如何，驱动程序是否可以记住登录 session ，所以它不会带我回到登录页面(例如google-chrome)? 这就是我现在正在做的事情 public static void main(Stri
我是网络爬虫新手，我需要一些关于这两个 Node JS 爬虫的指导。 目标:我的目标是抓取网站并仅获取该域内的内部(本地)URL。我对任何页面数据或抓取不感兴趣。只是 URL。 我的困惑:使用 nod
我是一名优秀的程序员,十分优秀！