无法理解 Robots.txt 语法

Question

关闭。这个问题是off-topic .它目前不接受答案。












想改善这个问题吗？ Update the question所以它是 on-topic对于堆栈溢出。

8年前关闭。




Improve this question




我很久以前就向 Google 提交了我的 robots.txt 文件，但它仍然给我提供了第一行无法理解的语法。

谷歌搜索后最常见的问题是谷歌添加了一个“？”在行的开头，但它对我没有那样做。

robots.txt 的网址是

www.leisurepursuits.co.uk/robots.txt

错误是:

第 1 行:用户代理:* 语法不明白

Answer 1

显示此错误是因为预期的 robots.txt 文件格式是以 UTF-8 编码的纯文本。该文件由以 CR、CR/LF 或 LF 分隔的记录(行)组成。

如果字符编码不是 UTF-8 的子集，则您的 robots.txt 文件解析不正确。

首先在 http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl 中检查您的 robots.txt 网址通过选择第二个选项“查看源”并查看它是否成功响应。

现在再次上传您的 robots.txt 文件。它不会显示之前显示的错误。