robots.txt - Robot.txt 允许在域中指定 URL

Question

我只想允许主要 URL(域)和 http://domain/about，其他 URL 对搜索 google 不可见。示例我有如下链接:

http://example.com
http://example.com/about
http://example.com/other1
http://example.com/other2
http://example.com/other3
http://example.com/other4
http://example.com/other5
http://example.com/other6
and more URL. 

我的问题是 robot.txt 的内容是什么，我只想允许 http://example.com 和 http://example.com/about ，我的网站使用 wordpress。

谢谢。

Answer 1

你想要的是:

User-agent: *
Allow: /$
Allow: /about
Disallow: /

$ 表示 url 字符串必须在那里结束。所以它不允许，例如，/example.com/foo。