gpt4 book ai didi

python - scrapy 附加到 linkextractor 链接

转载 作者:行者123 更新时间:2023-11-28 22:44:10 27 4
gpt4 key购买 nike

我正在使用 CrawlSpiderLinkExtractor 来抓取链接。

我如何将参数附加到 LinkExtractor 找到的链接?我想将 '?pag_sortorder=0&pag_perPage=999' 添加到 LinkExtractor 提取的每个链接。

最佳答案

这是使用 process_value argument 的完美用例:

from scrapy.contrib.linkextractors import LinkExtractor

addition = "?pag_sortorder=0&pag_perPage=999"

LinkExtractor(process_value=lambda x: x + addition)

关于python - scrapy 附加到 linkextractor 链接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29858848/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com