web - robots.txt 排除带有语言的路径

Question

例如，如果我想在我的页面上禁止以下路径: http://www.examplepage.com/en/testing

但不仅是/en/版本，还有/da/、/de/等(你明白我的意思)。

我将如何以最聪明的方式做到这一点？无需为每种语言的相同页面编写禁止。

我试过:不允许:/*/testing和不允许:/*测试

但我发现它也不允许其他页面，例如: http://www.examplepage.com/en/news-page/testing等等

它应该只禁止我在帖子开头指定的路径。

Answer 1

在 robots.txt 中使用占位符/正则表达式非常有限且不可靠。有关详细信息，请参阅此问题:Regexp for robots.txt

最好的解决方案可能是单独列出所有语言或编写一个脚本来输出包含所有规则的列表。