google-chrome - 使用用户代理获取许多请求 [Mozilla/5.0]

Question

当请求到达我的 java servlet 时，我正在检查它的 UserAgent:

protected void service(HttpServletRequest request, HttpServletResponse response){
    final String UA = request.getHeader("User-Agent");
    eu.bitwalker.useragentutils.Browser browser = UserAgent.parseUserAgentString(UA).getBrowser();}

大多数请求都有 UA(用户代理)，其中包含信息，例如Mozilla/5.0(Windows NT 6.1；WOW64)AppleWebKit/537.36(KHTML，如 Gecko)Chrome/43.0.2357.130 Safari/537.36。
一些请求(大约 10%)只有 Mozilla/5.0 或 Mozilla/4.0。

这是否意味着它们是机器人？
有没有可能servlet之前的东西去掉了UA中的相关部分？

我正在使用 HaraldWalker User Agent Utils识别 UA 并为这些 UA 返回 Mozilla。
但是这 online tool返回 unknown。

有人可以解释一下吗？

Answer 1

这些很可能是某种机器人，因为任何主流浏览器都不使用该用户代理。

值得您过滤日志以仅提取这些条目，并检查它们是否遵循任何明显的类似机器人的模式。例如，您可能会看到:

• 每 X 秒一个请求
• 它们都发生在一天中的特定时间
• 它们都在很短的时间内发生
• 他们按字母顺序请求 URL
• 所有请求都来自单个 IP 地址或有限范围的 IP