gpt4 book ai didi

mysql - ScrapingHub 和远程数据库

转载 作者:行者123 更新时间:2023-11-29 05:16:54 25 4
gpt4 key购买 nike

我正在用 scrapy 创建一个蜘蛛,我想使用 MySQL 数据库在我的蜘蛛中获取 start_urls。现在我想知道是否可以将 scrapy-cloud 连接到远程数据库?

最佳答案

您可以通过覆盖 start_requests 爬虫方法来做到这一点:

http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests

你基本上可以在那里做任何你想做的事。

mysql python默认安装在scrapy cloud上。文档:http://mysql-python.sourceforge.net/

关于mysql - ScrapingHub 和远程数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31516473/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com