gpt4 book ai didi

python - 从脚本运行 Scrapy - 项目导入问题

转载 作者:行者123 更新时间:2023-12-05 05:39:48 24 4
gpt4 key购买 nike

我正在尝试运行多个爬虫,为此我想使用我在他们关于 CrawlerProcess 的文档中看到的内容将 Scrapy 作为脚本运行。但是,我想使用我用不同的 scrapy.Field 对象创建的项目,这些对象位于我运行爬行脚本的父文件夹内,这里是一个快速示例,用于显示我想要实现的目标以及文件夹的方式在 scrapy 中安排了一个项目:

enter image description here

我得到的错误如下:

enter image description here

经过研究,我发现了相对导入,但是这样做只会导致此错误消息: enter image description here

我正在显示图片以便您可以查看文件夹的排列方式以帮助理解我的问题,我们将不胜感激。

最佳答案

您在根目录中缺少一个 __init__.py 文件。应该是这样的。

scrapy project structure

我假设您在创建项目时遇到了问题。

对于你的情况——

scrapy startproject example示例创建项目

然后在 spiders 目录中创建一个蜘蛛。

cd 到 spiders 目录并运行命令(你已经这样做了)

C:\users\.....\ExampleFolder\example\example\spiders>python examplespider.py

关于python - 从脚本运行 Scrapy - 项目导入问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/72581964/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com