gpt4 book ai didi

http - 所有的蜘蛛都应该在他们的用户代理字符串中使用 +http 吗?

转载 作者:可可西里 更新时间:2023-11-01 16:33:26 27 4
gpt4 key购买 nike

这是我最近看到的一些蜘蛛用户代理字符串。它们似乎都包含一个以 +: 为前缀的 URL

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; meanpathbot/1.0; +http://www.meanpath.com/meanpathbot.html)
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

这只是大多数蜘蛛遵循的惯例吗?或者它是在某处指定的。我找不到它。

最佳答案

这只是一些蜘蛛遵循的惯例。人们可以在用户代理 header 中放置的内容没有任何限制。

看看this list包含“GoogleBot”的用户代理。您会注意到其中许多不包含“+http”。

关于http - 所有的蜘蛛都应该在他们的用户代理字符串中使用 +http 吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/27027290/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com