python - 安装 ScrapyJS - python 新手

Question

我正在尝试使用这个 scrapy 插件(或者它是什么):scrapyjs .

但是没有安装说明，而且我是 Python 新手。我缺少一些基本的东西吗？我如何将其与 scrapy 项目集成。

注意:我更愿意使用 Scrapy 下载处理程序而不是中间件版本，因为它看起来运行起来会更快。 (如我错了请纠正我)。

Answer 1

由于 scrapyjs 不是常规的 python 包并且未在 PyPI 上注册 - 首先，您需要 clone the repository并将 scrapyjs 包移动到 PYTHONPATH 下，或进入您的 scrapy 项目目录(使其“可导入”)。

将其与Scrapy集成有两种选择:

• patching scrapy to use gtk2 reactor

• add a new middleware in settings :

  DOWNLOADER_MIDDLEWARES = {
      'scrapyjs.middleware.WebkitDownloader': 1,
  }
  

后者更简单、更简洁，但会严重影响性能，因为每个请求都将以阻塞模式处理。