.htaccess - 即使使用 htaccess 重定向，googlebot 也会索引我的 index.php 吗？

Question

在我的 htaccess 文件中使用重定向语句，在地址栏中键入以下内容的人...

http://example.com/index.php

...被重定向到...

http://example.com/

我网站的所有页面上都有一个 noindex、nofollow 元标记。

我的问题是，鉴于重定向行为和元数据，如果我的 robots.txt 文件如下所示，googlebot 是否会索引我的主页(即 index.php)...

User-agent: Googlebot
Allow: /index.php
Disallow: /

User-agent: *
Disallow: /

如果不是，我应该如何更改我的 robots.txt，以便只有我的主页被谷歌索引，仅此而已？

提前致谢!

Answer 1

这是有风险的。为确保 Google 确实将您的主页编入索引，请执行以下操作:

User-agent: *
Allow: /index.php
Disallow: /a
Disallow: /b
...
Disallow: /z
Disallow: /0
...
Disallow: /9

因此您的根“/”将不匹配禁止规则。

此外，如果您有 AdSense，请不要忘记添加

User-agent: Mediapartners-Google
Allow: /