google-chrome - 为什么 Chrome 要求 robots.txt？

Question

我在日志中注意到 Chrome 请求了 robots.txt 以及我期望的所有内容。

[...]
2017-09-17 15:22:35 - (sanic)[INFO]: Goin' Fast @ http://0.0.0.0:8080
2017-09-17 15:22:35 - (sanic)[INFO]: Starting worker [26704]
2017-09-17 15:22:39 - (network)[INFO][127.0.0.1:36312]: GET http://localhost:8080/  200 148
2017-09-17 15:22:39 - (sanic)[ERROR]: Traceback (most recent call last):
  File "/usr/local/lib/python3.5/dist-packages/sanic/app.py", line 493, in handle_request
    handler, args, kwargs, uri = self.router.get(request)
  File "/usr/local/lib/python3.5/dist-packages/sanic/router.py", line 307, in get
    return self._get(request.path, request.method, '')
  File "/usr/local/lib/python3.5/dist-packages/sanic/router.py", line 356, in _get
    raise NotFound('Requested URL {} not found'.format(url))
sanic.exceptions.NotFound: Requested URL /robots.txt not found

2017-09-17 15:22:39 - (network)[INFO][127.0.0.1:36316]: GET http://localhost:8080/robots.txt  404 42
[...]

我正在运行 Chromium:

60.0.3112.113(开发人员版本)基于 Ubuntu 构建，在 Ubuntu 16.04(64 位)上运行

为什么会发生这种情况？有人可以详细说明一下吗？

Answer 1

有可能不是您的网站请求 robots.txt 文件，而是 Chrome 扩展程序之一(例如您提到的 Wappalizer)。这可以解释为什么它只发生在 Chrome 中。

要确定，您可以检查 Chrome 开发者工具的“网络”选项卡，看看请求是在哪个点发出的，以及它是否来自您的某个脚本。