seo - robots.txt 格式禁止所有子 URL 但不允许根 URL 本身

Question

我的应用程序 url 如下所示

http://example.com/app/1

http://example.com/app/2

http://example.com/app/3

...

http://example.com/app/n

现在我想阻止所有这些 URL 被抓取，但不阻止 http://example.com/app我如何使用 robots.txt 执行此操作

Answer 1

将以下内容添加到您的 robots.txt

Disallow: /app/

这将允许 http://example.com/app但不是http://example.com/app/ *您可以在此处测试您的 robots.txt https://www.google.com/webmasters/tools/robots-testing-tool