个人中心
文章发布
退出
作者热门文章
- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时，我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
24
4
看起来没有合法的方式来暂停/继续使用 Scrapyd 爬行，就像 Scrapy 本身一样(scrapy crawl spider -s JOBDIR=jobdir/spider-1)。我找到的唯一解决方案是在这里:
https://groups.google.com/forum/#!msg/scrapyusers/2VjEBEbOo7s/MSH4GJc2B0sJ
但我还没有理解这个想法。
那么是否可以使用 Scrapyd 暂停/继续工作？
谢谢你的时间
最佳答案
思路如下:
当您从 cmd 运行蜘蛛时，您可以粘贴额外的参数，例如:scrapy crawl myspider -s JOBDIR=crawls/somespider-1
当您在端点 schedule.json 中使用 Scrapyd 时，您还可以粘贴一些设置。如果您使用的是 scrapyd-client，它将如下所示:
s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)
之后，您可以取消作业。下一次，当你将运行相同的工作时 - scrapyd 恢复以前的工作
关于python - Scrapyd 暂停/继续工作，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46418709/
24
4
0
我是scrapy和scrapyd的新手。做了一些阅读并开发了我的爬虫，它可以爬取一个新闻网站并给我所有的新闻文章。如果我简单地运行爬虫 scrapy crawl project name -o som
我已经创建了几个我打算与 scrapyd 同时运行的网络蜘蛛。我首先使用以下命令在 Ubuntu 14.04 中成功安装了 scrapyd:pip install scrapyd，当我运行命令:scr
我有一个项目，我必须在其中抓取大量不同的网站。所有这些网站的爬行都可以使用相同的蜘蛛，因为我不需要从其正文页面中提取项目。我想到的方法是在蜘蛛文件中参数化要爬行的域，并调用 scrapy scrapy
截至最近，Scrapinghub 的免费包中不再提供定期作业，这是我用来运行我的 Scrapy 爬虫的工具。 因此，我决定使用Scrapyd反而。所以我继续建立了一个运行 Ubuntu 16.04 的
我对 Scrapyd 非常陌生，正在尝试部署。我在 Ubuntu 12.04 上运行并安装了 Scrapyd 的 ubuntu 版本。当我运行 scrapy deploy default -p pul
我在cmd中启动了scrapyd，网站“localhost:8600”显示正常。然后我开始部署一个名为scrapyd_prac的项目，将项目的“scrapy.cfg”内容修改为: [deploy:l
我正在使用 Scrapyd 将 scrapy 用作网络服务。 我想使用带有如下参数的 curl 命令: curl http://myip:6800/schedule.json -d project=d
您好，我正在使用 Scrpayd 来安排我的蜘蛛程序。问题是我想跟踪到目前为止安排的作业的所有历史信息。但是如果scrapyd服务器重启，所有的信息都会被删除。 我的问题是有没有其他方法可以将这些值存
我正在尝试根据我的环境(例如开发、生产)使用多种配置来开发我的 Scrapy 应用程序。我的问题是有些设置我不确定如何设置。例如，如果我必须设置数据库，则在开发中应该是“localhost”，而在生产
我有几个 scrapy 项目。我用 scrapyd 部署了所有这些。有些蜘蛛速度慢，有些速度快。现在，我想先运行快速蜘蛛。怎么办？ 最佳答案 我遇到了同样的问题。但是看了scrapyd的源码，好像sc
您将使用什么工具或一组工具来水平扩展 scrapyd，动态地将新机器添加到 scrapyd 集群，并在需要时每台机器拥有 N 个实例。并非所有实例都必须共享一个公共(public)作业队列，但这会很棒
我们在 ubuntu 18.04 上的 python 3.6 中运行 scrapy 2.1.0 和 scrapyd，我遇到了一个问题，我需要帮助了解如何以正确的方式解决问题。我是 python 的新手
我已经完全按照 documentation 中的描述在 EC2 服务器上安装了 scrapyd 守护进程。 .现在，我更改了 /etc/scrapyd/conf.d/000-default 中的一些配
我一直在搜索有关 Scrapyd 服务的文档，但它非常薄。我想知道是否有人知道如何设置指向同一个调度队列的多个 Scrapyd 服务器？ 最佳答案 我不知道有任何“保存计划队列”，但是通过打开几个屏幕
我的项目中有多个蜘蛛，因此决定通过上传到 scrapyd 服务器来运行它们。我已经成功上传了我的项目，当我运行命令时我可以看到所有的蜘蛛 curl http://localhost:6800/list
scrapyd 文档包括以下注释: scrapyd-deploy won’t deploy anything outside the project module... 这是否意味着我不能从我的蜘蛛中
看起来没有合法的方式来暂停/继续使用 Scrapyd 爬行，就像 Scrapy 本身一样(scrapy crawl spider -s JOBDIR=jobdir/spider-1)。我找到的唯一解决
我正在尝试将使用 slyd 创建的蜘蛛配置为使用 scrapy-elasticsearch ，所以我发送 -d parameter=value 来配置它: curl http://localhost:
我的网站可供公众使用，Scrapyd 在端口 6800 上运行，如 http://website.com:6800/ 我不想让任何人看到我的爬虫列表。我知道任何人都可以轻松猜出输入端口 6800 并可
上下文 我正在运行 scrapyd 1.1 + scrapy 0.24.6 和一个“selenium-scrapy hybrid”蜘蛛，它根据参数在许多域上爬行。托管 scrapyd 实例的开发机器是
我是一名优秀的程序员,十分优秀！