gpt4 book ai didi

ruby-on-rails - Ruby on Rails,如何确定请求是由机器人还是搜索引擎蜘蛛发出的?

转载 作者:行者123 更新时间:2023-12-03 15:07:10 25 4
gpt4 key购买 nike

我有 Rails 应用程序,它记录每个请求到特定 URL 的 IP 地址,但在我的 IP 数据库中,我发现了 facebook blok IP,如 66.220.15.* 和 Google IP(我建议它来自 bot)。是否有任何公式可以确定机器人或搜索引擎蜘蛛发出的请求中的 IP?谢谢

最佳答案

由于表现良好的机器人至少通常在它们发送的 UA 字符串中包含一个引用 URI,例如:

request.env["HTTP_USER_AGENT"].match(/\(.*https?:\/\/.*\)/)

是查看请求是来自机器人还是来自人类用户代理的简单方法。这似乎比尝试与综合列表匹配更可靠。

关于ruby-on-rails - Ruby on Rails,如何确定请求是由机器人还是搜索引擎蜘蛛发出的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/5882264/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com