gpt4 book ai didi

web-scraping - 如何让 Mixnode Crawler 爬得更慢?

转载 作者:行者123 更新时间:2023-12-04 05:14:15 25 4
gpt4 key购买 nike

我们突破了 2000 万页/小时,我真的很欣赏这个速度;但是,我担心我可能对目标网站施加了太大的压力,有什么办法可以降低网站的抓取速度吗?

最佳答案

不确定为什么要将速度降低为 documentation明确指出:

There is a minimum delay of 10 seconds between requests sent to the same website. If robots.txt directives of a website require a longer delay, Mixnode will follow the delay duration specified by the robots.txt directives.

关于web-scraping - 如何让 Mixnode Crawler 爬得更慢?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43380590/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com