python - Scrapyd:如何指定部署项目可以使用的库和公共(public)文件夹？

Question

Scrapyd 是我们可以 eggify 部署我们项目的服务。但是我面临一个问题。我有一个名为 MyScrapers 的项目，其蜘蛛类使用如下导入语句:

从 mylibs.common.my_base_spider 导入 MyBaseSpider

my_base_spider 的路径是/home/myprojectset/mylibs/common/my_base_spider

在设置环境变量 PYTHONPATH=$HOME/myprojectset/ 时，我可以使用 scrapy 命令运行 MyScrapers:scrapy crawl MyScrapers。

但是当我通过以下命令使用 scrapyd 部署 MyScrapers 时:scrapy deploy scrapyd2 -p MyScrapers，我得到以下错误:

服务器响应 (200):{"status": "error", "message": "ImportError: No module named mylibs.common.my_base_spider"}

请告诉我如何使已部署的项目使用这些库？

Answer 1

您需要编辑您的 setup.py 和/或 MANIFEST.in 以声明它具有 mylibs 包依赖性。

参见 the distutils documentation获取更多信息。