seo - 在 robots.txt 中指定变量

Question

我的 URL 结构设置为两条平行线(都指向同一个地方):

• www.example.com/subname
• www.example.com/123

麻烦的是，蜘蛛会爬进这样的东西:

• www.example.com/subname/default_media_function
• www.example.com/subname/map_function

请注意，名称“subname”代表我网站上具有相同功能的数千个不同页面。

而且他们会抛出错误，因为这些链接严格用于 JSON 或 AJAX 目的，而不是实际链接。我想阻止他们访问这些页面，但如果 URL 包含变量，我该怎么办？

这在 robots.txt 中有效吗？

Disallow: /map_function

Answer 1

你将不得不做

Disallow: /subname/map_function

机器人将在根级别查找 robots.txt。他们还在那里从左到右评估没有通配符的 URL。

因此，您需要为所有 map_function 创建一个位置并将其排除，或者排除所有位置。