python - 钢铁 worker 和scrapy

Question

我正在尝试使用 scrapy 创建一个 Iron.io 工作线程。

根据iron.io的说法，我们需要将代码的所有依赖项放置在worker本身中。

我创建了一个名为 module 的文件夹，其中包含所有第 3 方模块并通过 pip 安装 scrapy。

pip install scrapy -t module/

当尝试通过 python module/scrapy/__init__.py 运行 scrapy 时，我得到了

Traceback (most recent call last):
  File "module/scrapy/__init__.py", line 10, in <module>
    __version__ = pkgutil.get_data(__package__, 'VERSION').decode('ascii').strip()
  File "/usr/lib/python2.7/pkgutil.py", line 578, in get_data
    loader = get_loader(package)
  File "/usr/lib/python2.7/pkgutil.py", line 464, in get_loader
    return find_loader(fullname)
  File "/usr/lib/python2.7/pkgutil.py", line 474, in find_loader
    for importer in iter_importers(fullname):
  File "/usr/lib/python2.7/pkgutil.py", line 424, in iter_importers
    if fullname.startswith('.'):
AttributeError: 'NoneType' object has no attribute 'startswith'

Answer 1

如果您没有可用的 Scrapy 可执行文件，您可以通过 cmdline 运行 Scrapy:

python module/scrapy/cmdline.py

您还可以从脚本运行Scrapy。 Here is a very detailed answer .