python - 一个蜘蛛可以处理多个项目和多个管道吗？

Question

刚接触scrapy，有件事让我很困惑:spider、pipelines和items之间有什么关系？

1.一个管道应该只处理一项特定项目还是可以处理多个项目？

2.如何使用一只蜘蛛抓取多个项目，或者我应该使用一只蜘蛛只抓取一项项目？

Answer 1

Item 指的是它所抓取的数据项。您也可以将其称为记录或条目。

Spider 负责抓取(启动请求和跟踪链接)和抓取(从响应中提取数据项)。他们可以根据您的需要安排任意数量的请求并提取任意数量的项目，没有任何限制。

项目管道是处理蜘蛛提取的项目的抽象。这个想法是，您可以组合数据项通过的不同“管道”，然后您将按照完成您需要的任何方式来排列它们。管道用例的示例包括应用验证约束、将数据保存到数据库中、对数据进行一些清理(例如，删除 HTML 标签)等。

所以，回顾一下:

蜘蛛提取数据项目，Scrapy将其一一发送到配置的项目管道(如果可能的话)进行后期处理对项目进行处理。