python - 如何通过 Django App 调用 Scrapy Spider

Question

我无法在我的 Django View 中调用 scrapy 蜘蛛。我怎样才能做到这一点？我尝试按照本教程进行操作 http://tryolabs.com/Blog/2011/09/27/calling-scrapy-python-script/但在导入设置中不起作用。

Answer 1

如果错误来自

from scrapy.conf import settings

这可能是因为 scrapy 根本找不到它期望的设置文件。由于在 Django 中习惯使用 settings 来表示 django 自己的配置，所以如果您不使用该术语，那将是最清楚的。

您可以在 Django 设置中指定您的 scrapy 设置:

"""settings.py"""
# stuff

SCRAPY_SETTINGS = {
    ... # put your usual scrapy keys and values here
}

# more stuff

然后，您可以代替导入 scrapy.conf.settings，而是使用:

from django.conf import settings

在脚本中引用 scrapy 设置的地方，您应该将 CrawlerProcess 的参数更改为 settings.SCRAPY_SETTINGS

self.crawler = CrawlerProcess(settings.SCRAPY_SETTINGS)

如果您有任何进一步的问题，请发布您遇到的完整错误和您查看的代码。