个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
28
4
试图阅读 Scrapy 的代码。 scaper、crawler 和 spider 这三个词令人困惑。例如
scrapy.core.scraper
scrapy.crawler
scrapy.spiders
最佳答案
爬虫 ( scrapy.crawler ) 是 Scrapy API 的主要入口点。它提供对所有 Scrapy 核心组件的访问，并用于将扩展功能 Hook 到 Scrapy。
抓取刀 ( scrapy.core.scraper ) 组件负责解析响应并从中提取信息。它是从引擎运行的，它被用来运行你的蜘蛛。
scrapy.spiders 是一个包含基础 Spider 的模块实现(用于编写爬虫)，以及一些开箱即用的常见爬虫(例如用于基于规则集的爬虫的 CrawlSpider、用于基于站点地图的爬虫的 SitemapSpider 或用于爬取 XML 提要的 XMLFeedSpider)。
更多信息可在官方文档页面上找到:
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders
http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler
关于web-crawler - Scrapy上下文中的scraper、crawler和spider的区别，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34260886/
28
4
0
我需要创建一个脚本来发出 HTTP 请求并模拟浏览器在 cookie 管理方面的行为。这意味着它可以访问该“页面”设置的所有 cookie(服务器设置 cookie、异步客户端设置 cookie、每个
我有一个简单的 JavaScript 抓取工具，用于本地页面。 我会找到所有“title”类元素的 id 属性。 问题是，当我在屏幕上打印变量时，变量(title1)永远是“未定义”，而不是像它必须的
我编写了一些代码来解析来自 yell.com 的不同商店的名称、地址和电话号码。如果为我的爬虫提供了任何链接，它就会解析整个内容，而不管它分布在多少页面上。然而，我能发现的唯一问题是它总是跳过第一页的
我用 python 结合 BeautifulSoup 编写了一个脚本，使用其分页按钮转到网站的下一页 (有一个链接连接到这个按钮)直到没有新的页面可供抓取。我的脚本可以使用分页链接抓取下一页。然而，问
我用 python 编写了一个脚本，用于从 craigslist 中抓取五个项目的“姓名”和“电话”。我面临的问题是，当我运行脚本时，它只给出三个结果而不是五个结果。更具体地说，由于前两个链接的页面中
我用 python 结合 selenium 编写了一个脚本来解析网页中的名称。该网站的数据未启用 JavaScript。然而，下一页链接是在 javascript 内的。由于如果我使用 request
我在 python 中编写了一个小脚本，使用 xpath 从 yahoo finance 中抓取显示在左侧区域的标题。该页面中有几个标题，但是当我运行我的脚本时，我只得到三个标题。我不想在这种情况下使
已关闭。此问题旨在寻求有关书籍、工具、软件库等的建议。不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以
我用 python 结合 Selenium 编写了一个脚本，以提取 finance.yahoo 网站左侧栏中显示的不同新闻的标题。我已经使用 css 选择器来获取内容。但是，该脚本既没有给出任何结果也
我用 python 结合 selenium 编写了一个脚本，以便在搜索时显示一些名称和相应的地址，搜索关键字是“Saskatoon”。但是，在这种情况下，数据会遍历多个页面。除了一件事，我的脚本几乎完
例如，我有下一张 table First 1 Second 2
想要在某些 channel 统计数据中删除youtube，并了解其工作原理。并且比作csv作以下分析。使用this video创建和学习。 我有2个文件: main.py，youtube_statis
我正在尝试抓取此页面 https://www.teamrankings.com/nba/team/cleveland-cavaliers但我需要当您单击“投注 View ”时显示的网格...我遇到了一
我编写了一个抓取工具来解析来自 torrent 站点的电影信息。我使用了 IE 和 queryselector。 我的代码确实解析了所有内容。当一切完成后，它会抛出错误而不是退出浏览器。如果我取消错误
我正在尝试创建一个在名为 https://en.wikipedia.org/wiki/North_Korea_and_weapons_of_mass_destruction 的维基百科页面上启动的蜘蛛
我正在尝试抓取this网站使用 python 为献血营准备数据库。 首先，在尝试从 requests 或 urllib 获取网站 html 源代码时，存在 SSl:certificate_verify
我正在尝试使用允许空格和句点的正则表达式编写一个 python scraper。 我正在尝试从某个网站获取棒球队名称，因此有些是 Miami (全字)，但其他是 San Francisco (带空格)
我已经用Python创建了一个网络爬虫，但是在最后打印时我想打印我已经下载的(“Bakerloo:”+ info_from_website)，正如你在代码中看到的那样，但它总是像info_from_w
我有这个代码: #!/opt/local/bin/perl use 5.014; use warnings; use Web::Scraper; use Data::Dumper; my $html
我正在尝试使用 Scrapy 来抓取该网站。 首先这是我的代码-: from twisted.internet import reactor from scrapy.crawler import Cr
我是一名优秀的程序员,十分优秀！