gpt4 book ai didi

python - 如何打印临时深度

转载 作者:行者123 更新时间:2023-12-01 07:11:19 24 4
gpt4 key购买 nike

所以我正在浏览一个网站,并在该网站中寻找特定的链接。如果我从主页开始,我想看看蜘蛛在找到链接之前距离原始页面有多远

linksonpage = response.css('a::attr(href)').getall()

for i in linksonpage:
link = response.urljoin(i)

if link == goallink:
print('found the goal link')

elif:
yield scrapy.Request(link)

链接深度当前设置为 10,但如果它在 10 之前找到链接,我想知道它需要走多远才能到达那里。

是否有像scrapy固有的“链接深度”变量之类的东西,我可以调用它在过程中的位置,或者我必须制作一个计数器?

最佳答案

我是个傻子。这只是response.meta['深度']

所以你可以将其设置为变量。

关于python - 如何打印临时深度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58206508/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com