gpt4 book ai didi

Google-Plus 爬虫

转载 作者:行者123 更新时间:2023-12-04 10:04:13 25 4
gpt4 key购买 nike

目前,我的公司正在尝试将 Google Plus One 链接添加到我们的网站。

我们的代码可以运行,但是 Google-Plus 爬虫似乎无法访问页面内容。创建共享链接片段后,它会显示一条消息,指出爬虫无法查看内容,因为它无法区分机器人和人类访问者的测试。

我们可以将机器人列入白名单,但是我们使用的系统只接受用户代理和 URL。当检测到 User-Agent 时,将运行反向查找,并将 bot ip 与输入的 url 进行比较,以查看它是否来自同一组 ip。

我知道 Google Plus 爬虫不使用机器人风格的用户代理,比如 Mozilla/5.0(兼容;Googlebot/2.​​1;+ http://www.google.com/bot.html),但是否有用户代理我们可以执行必要的白名单测试在?

最佳答案

是的,它确实。 +Snippet bot用户代理包含以下字符串:

Google (+https://developers.google.com/+/web/snippet/)

关于Google-Plus 爬虫,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20750191/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com