amazon-s3 - Google 不会在 s3 上读取我的 robots.txt

Question

当Google抓取我们的静态内容(存储在s3上)时，我们在(存储桶的)根目录中创建了一个robots.txt..如下

User-agent: *
Disallow: / 

现在，由于我们想从 Google 搜索中删除现有内容..我们在 Google 网站管理员 a/c 中添加了存储桶..并请求删除目录

现在的问题是 Google 无法识别或读取 robots.txt(这是将来阻止 Google 阻止所必需的)。我们在网站站长工具中收到此消息

<小时/>

此站点不位于域的顶层。robots.txt 文件仅在位于最高级别目录中时才有效，并且适用于域内的所有目录。适用于您网站的 robots.txt 文件(如果存在)位于 http://s3.amazonaws.com/robots.txt 。此页面提供有关该文件的信息。

Answer 1

您为 Google 提供了哪个 URL 来获取您的存储桶？您需要使用DNS 样式 {bucket}.s3.amazonaws.com，而不是路径样式 s3。 amazonaws.com/{bucket}。