gpt4 book ai didi

python - 'HTTP Error 403: request disallowed by robots.txt' 是在哪一边生成的?

转载 作者:行者123 更新时间:2023-11-28 17:52:07 24 4
gpt4 key购买 nike

我正在尝试 Mechanize 来简化一些例程。我已设法通过使用 br.set_handle_robots(False) 绕过该错误。有人谈论使用它是多么合乎道德。我想知道的是这个错误是在哪里产生的,是在我这边,还是在服务器端?我的意思是 Mechanize 是在看到一些 robots.txt 规则时抛出异常,还是服务器在检测到我使用自动化工具时拒绝请求?

最佳答案

服务器检测用户代理。如果用户代理与 robots.txt 中的一个匹配,则客户端应用规则。默认情况下,mechanize 返回“Python-urllib/2.7”。

参见 http://en.wikipedia.org/wiki/Robots_exclusion_standard

关于python - 'HTTP Error 403: request disallowed by robots.txt' 是在哪一边生成的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8034767/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com