python - Django Heroku APScheduler Scrapy

Question

我已经在 Heroku 上运行了一个基本的 Django Web 应用程序。我想添加一个蜘蛛来根据计划任务(例如通过 Scrapy )爬行一些网络(例如使用 APScheduler )，以获取加载了收集数据的 Django 数据库的一些表。

有人知道实现这种集成的基础文档或示例吗？我发现很难弄清楚。

Answer 1

我根本没有使用过Scrapy，但我实际上正在使用APScheduler，而且它使用起来非常简单。因此，我的第一个猜测是使用 BackgroundScheduler (在您的 Django 应用程序中)并向其添加一个作业，该作业将执行可调用的“spider” “定期。

这里的问题是如何在您的 Django 应用程序中嵌入 Scrapy 项目，以便您可以访问其中一个“蜘蛛”并在您的计划作业中有效地使用它作为可调用项。

我可能帮不了什么忙，但我只是想给你一些入门指导。我非常确定，如果您仔细阅读 Scrapy 文档，您就会成功。

最好。