gpt4 book ai didi

python - 如何更改scrapy中的url长度?

转载 作者:太空宇宙 更新时间:2023-11-04 05:57:46 27 4
gpt4 key购买 nike

我在 scrapy 中使用 FormRequest.from_response 模块来抓取一些总线信息。每当我运行我的蜘蛛时,它都会通过提供以下信息来忽略发布请求:

DEBUG: Ignoring link (url length > 2083):

scrapy docs中提到的细节如下:

URLLENGTH_LIMIT
Default: 2083
Scope: contrib.spidermiddleware.urllength

谁能告诉我如何更改此设置?

最佳答案

在scrappy的settings.py中添加这个

URLLENGTH_LIMIT = (integer)

了解更多 scrappy

关于python - 如何更改scrapy中的url长度?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26797786/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com