linux - 如何在 linux (debian) 上获取文件访问信息

Question

最近，根据 google 网站管理员工具，我的网络服务器上的 robots.txt 文件出现了一些问题。更准确地说，我收到“由于 robots.txt 无法访问而推迟抓取”。信息。这很奇怪，因为如果您尝试访问它:http://www.newsflow24.com/robots.txt它看起来很好，甚至谷歌抓取测试仪也显示没有问题，但真正的谷歌机器人似乎有一些问题。

因此，为了了解发生了什么，我想知道，如何查看日志文件或其他文件，以便我可以准确地了解当 Google 机器人在 x 时间尝试访问 robots.txt 文件时到底发生了什么。

第一段只是我的问题的介绍，我真正的问题是第二段。

提前致谢。

Answer 1

您的 http 服务器可能会在 /var/log/something 中生成日志，其中某些内容取决于您使用的服务器。 Apache ？