com.zyd.blog.spider.webmagic.ZhydSpider类的使用及代码示例

转载 作者：知者 更新时间：2024-03-13 10:36:03 27 4

@Override
protected void onSuccess(Request request) {
  super.onSuccess(request);
  if (this.getStatus() == Spider.Status.Running && ExitWayEnum.DURATION.toString().equals(model.getExitWay())) {
    if (startTime < System.currentTimeMillis()) {
      this.stop();
    }
  }
}

public static ZhydSpider create(PageProcessor pageProcessor, BaseModel model, Long uuid) {
  return new ZhydSpider(pageProcessor, model, uuid);
}

ZhydSpider spider = ZhydSpider.create(new ArticleSpiderProcessor(), model, uuid);
spider.addUrl(model.getEntryUrls())
    .setScheduler(new BlockingQueueScheduler(model))
    .addPipeline((resultItems, task) -> process(resultItems, virtualArticles, spider))
  SimpleProxyProvider provider = SimpleProxyProvider.from(model.getProxyList().toArray(new Proxy[0]));
  httpClientDownloader.setProxyProvider(provider);
  spider.setDownloader(httpClientDownloader);
spider.run();
return virtualArticles;

@Override
public void stop() {
  ZhydSpider spider = ZhydSpider.SPIDER_BUCKET.get(SessionUtil.getUser().getId());
  if (null != spider) {
    Spider.Status status = spider.getStatus();
    if (status.equals(Spider.Status.Running)) {
      spider.stop();
    } else if (status.equals(Spider.Status.Init)) {
      throw new ZhydException("[ crawl ] 爬虫正在初始化！");
    } else {
      throw new ZhydException("[ crawl ] 当前没有正在运行的爬虫！");
    }
  } else {
    throw new ZhydException("[ crawl ] 当前没有正在运行的爬虫！");
  }
}

27 4 0

• python - 是否可以从 Scrapy spider 运行另一个 spider？

  现在我有2个蜘蛛，我想做的是 Spider 1 转到 url1 如果 url2 出现，用 url2, ) 它加载设置但不抓取: 2015-08-24 14:13:32 [scrapy] INFO: E

• python - 为什么在 spider.py 中需要 spider 对象来进行 scrapy？

  我看到在他们使用的类末尾的一些蜘蛛文件中 class TestSpider(BaseSpider): pass SPIDER = TestSpider() 为什么我们要使用 SPIDER = T

• python - 类 InstagramSpider(scrapy.Spider) : AttributeError: 'module' object has no attribute 'Spider'

  我该如何解决这个错误？ mona@pascal:~/computer_vision/instagram/instagram$ scrapy crawl instagramspider 2017-03-

• python - 如何构建一个独立的Scrapy Spider？

  很抱歉重新发布，我之前帖子的标题令人困惑。在蜘蛛示例(下面的代码)中，如何使用“pyinstaller”(或其他一些安装程序)来构建可执行文件(例如myspidy.exe)，以便最终用户不需要在Win

• python - 如何在程序中将参数传递给scrapy spider？

  我是python和scrapy的新手。我用了这个博客里的方法Running multiple scrapy spiders programmatically在 flask 应用程序中运行我的蜘蛛程序。

• meteor - Spiderable 的任何替代品？

  我们的 Meteor 版本是 0.8.1，这意味着当我们尝试安装当前版本的 Spiderable 时它会崩溃。PhantomJS 与这种不兼容有关，因为它有一些过时的依赖项，主要是关于 BlazeLa

• python - 如何重启Scrapy spider

  我需要什么: 启动爬虫 爬虫工作完成 等一分钟 再次启动爬虫 我试试这个: from scrapy.crawler import CrawlerProcess from scrapy.utils.pr

• python - Scrapy Spider 不返回任何信息

  我是一名学生，我正在为一个项目收集有关品牌的信息。我找到了这个名为 Kit 的网站:Kit Page我想搜索品牌。它有将近 500 页，我用 Python 3 编写了一个 Scrapy Spider，

• python - spider 4 中的绝地支持

  我更新到 Spyder 4(4.0.0？)以获得最新、最强大的功能。这时我发现Spyder现在可以选择使用Kite进行自动补全。在尝试了 Kite 一段时间后，我想恢复到以前的自动完成设置。我认为通过

• python - Scrapy Spider 验证和迭代

  下面是我组装的一个 Scrapy 蜘蛛，用于从网页中提取一些元素。我从another Stack Overflow solution借用了这个解决方案。它有效，但我需要更多。我需要能够在身份验证后遍历

• javascript - Meteor 应用程序呈现不稳定的 spiderable

  情况: 我想在我的 vps ubuntu 服务器上运行一些应用程序以进行爬网测试。我的应用使用来自“atmosphere”的 meteor-router 和 mrt 包管理器。在我使用 phantom

• python - Scrapy Spider - 响应回调中的循环不迭代

  我正在尝试在此 SO 线程中使用“warwaruk”描述的链接解析结构: Following links, Scrapy web crawler framework 这在仅从每个页面抓取单个项目时效果

• python - Scrapy Spider 不跟踪链接

  我正在编写一个 scrapy 蜘蛛从主页上抓取今天纽约时报的文章，但由于某种原因它不跟踪任何链接。当我在 scrapy shell http://www.nytimes.com 中实例化链接提取器时，

• python - 抓取错误 : Spider not Found

  我已经看过类似的问题并尝试了给出的答案但无济于事。有人可以帮我纠正这个吗？ 谢谢 hepz@ubuntu:~/Documents/project/project$ scrapy crawl NewsS

• python - Scrapy spider 没有显示完整的结果

  大家好，我正在尝试从代码中的给定链接获取完整结果。但我的代码没有给出所有结果。这个链接说它包含 2132 个结果，但它只返回 20 个结果。: from scrapy.spider import Sp

• python - 使用外部包部署 scrapyd spider

  scrapyd 文档包括以下注释: scrapyd-deploy won’t deploy anything outside the project module... 这是否意味着我不能从我的蜘蛛中

• python - Scrapy Spider 在处理过程中出现错误

  我是 python 编程和 scrapy 的新手。我在网络爬行时遇到错误。我在这个网站上使用过类似的帮助页面，甚至从头到尾遵循了一个教程，但没有成功，任何帮助将不胜感激。 错误说:蜘蛛错误处理http

• python - scrapy:蜘蛛中的一个小 "spider"？

  因此，当我尝试从 epinions.com 抓取产品评论信息时，如果主要评论文本太长，它会有一个指向另一个页面的“阅读更多”链接。我从“http://www.epinions.com/reviews/

• python - Scrapy Spider 不遵循请求回调

  我已阅读Scrapy: Follow link to get additional Item data?并遵循它，但它不起作用，可能这是一个简单的错误，所以我把我的蜘蛛的源代码。 import scr

• python - Scrapy Spider 抓取部分内容并留下其他内容

  我定义了一个scrapy Spider，它可以抓取所有名字和一些故事，而定义的xpath无法捕获故事，来自https://www.cancercarenorthwest.com/survivor-st