python - Windows scrapyd-deploy 无法识别

Question

我是这样安装scrapyd的

pip install scrapyd

我想使用 scrapyd-deploy

当我输入 scrapyd 时

我在 cmd 中得到了这个异常:

'scrapyd' is not recognized as an internal or external command, operable program or batch file.

Answer 1

我遇到了同样的问题，我也读到了一些关于 scrapyd 不可用/不能在 windows 上运行的意见，几乎放弃了它(我并不真正需要它，因为我打算部署到 linux 机器上，想要在 Windows 上使用 scrapyd 进行调试)。但是，经过一番研究，我找到了一种方法。由于我还没有找到任何关于此的明确说明，因此我将尝试尽可能详细地回答我的问题，列出对我有用的所有步骤。

假设你想在你的本地机器上运行 scrapyd，你需要运行两个命令行:第一个用于连接到 scrapyd 并保持连接打开，第二个用于部署和调度。

• 您已经通过 pip 安装了 scrapyd。

• 创建文件夹 C:\scrapyd 并在此文件夹中创建一个名为 scrapyd.log 的空 .log 文件(不确定是否需要此步骤)。

• 打开 cmd 并 cd 到 Python 中的 Scripts 文件夹。这通常类似于:C:\Python27\Scripts。类型:python scrapyd

• 此时您应该会看到类似这样的内容:

  2014-03-26 13:57:30+0200 [-] Log opened.
  
  2014-03-26 13:57:30+0200 [-] twistd 13.2.0 (C:\Python27\python.exe 2.7.6) starting up.
  
  2014-03-26 13:57:30+0200 [-] reactor class: twisted.internet.selectreactor.SelectReactor.
  
  2014-03-26 13:57:30+0200 [-] Site starting on 6800
  
  2014-03-26 13:57:30+0200 [-] Starting factory <twisted.web.server.Site instance at 0x0000000003F69208>
  
  2014-03-26 13:57:30+0200 [Launcher] Scrapyd 1.0.1 started: max_proc=16, runner='scrapyd.runner'
  

• 如果您可以打开浏览器并转到 http://localhost:6800，那么就可以了。命令行窗口应在后台保持打开状态，因为如果您关闭它，连接将关闭。

• 在 Windows 资源管理器上导航到您的 scrapy 项目文件夹并编辑在那里找到的 scrapy.cfg 文件:写下您的部署目标名称:例如 [deploy:scrapyd]，然后取消注释 url 行。

• 打开第二个命令行并 cd 到您的 scrapy 项目文件夹。输入:scrapy deploy -l

• 部署:类型:scrapy deploy scrapyd -p project_name(scrapyd 是您的目标)。您应该获得服务器响应代码 200 和 ok 状态。您还可以通过键入以下命令检查部署是否成功:scrapy deploy -L scrapyd

• 调度:您需要为 Windows 安装 curl。方法如下:questions/9507353/steps-to-setup-curl-in-windows输入:curl http://localhost:6800/schedule.json -d project=project_name -d spider=spider_name同样，您应该获得一个 ok 状态，并且在您的浏览器中，在作业下的 http://localhost:6800 中，您可以检查该作业是否确实已安排。

希望对您有所帮助。