python - 定义 LxmlLinkExtractor 规则时如何使用 RegEx 列表

Question

我想知道如何在 Scrapy 蜘蛛之外定义 RegEx 列表，然后将 RegEx 读入 LxmlLinkExtractor。

我正在使用当前代码:

file = open("myFile.txt")
regexs = [rule.strip() for rule in file.readlines()]
file.close()
return regexs

然后将返回值作为参数传递，如下所示:

Rule(LinkExtractor(allow=(regexs, )), callback='parse_file')

这会导致以下错误:

TypeError: unhashable type: 'list' 

Answer 1

这应该有效:

regexs = [rule.strip() for rule in file.readlines()]
LinkExtractor(allow=regexs, callback='parse_file')

在此处查看有关允许参数的更多信息: http://doc.scrapy.org/en/latest/topics/link-extractors.html#module-scrapy.linkextractors.lxmlhtml