python - 使用 scrapy 提取具有特定 css 类的链接

Question

概念上简单的问题/想法。

使用 Scrapy，如何使用 LinkExtractor 只提取具有给定 CSS 的链接？

看起来很简单，而且应该已经内置了，但我没有看到它？是吗？

看起来我可以使用 XPath，但我更喜欢使用 CSS 选择器。好像不支持？

我是否必须编写自定义 LinkExtractor 才能使用 CSS 选择器？

Answer 1

据我了解，您需要类似于 restrict_xpaths 的东西，但提供 CSS 选择器而不是 XPath 表达式。

这实际上是 Scrapy 1.0 中的内置功能(当前处于候选版本状态)，该参数称为 restrict_css:

restrict_css

a CSS selector (or list of selectors) which defines regions inside the response where links should be extracted from. Has the same behaviour as restrict_xpaths.

初始功能请求:

• CSS support in link extractors