javascript - 网络爬虫是否遵循 robots.txt 网址或标签

Question

已关闭。此问题不符合 Stack Overflow guidelines 。目前不接受答案。

---

这个问题似乎不是关于 a specific programming problem, a software algorithm, or software tools primarily used by programmers 。如果您认为这个问题与 another Stack Exchange site 上的主题有关，您可以发表评论来解释问题可能在哪里得到解答。

已关闭 6 年前。

Improve this question

我有一个严重基于 javascript 的网站。具体来说，没有 <a>标签。当点击某些按钮时，内容会动态插入到 DOM 树中，然后使用 javascript 更改 URL 来表示更新。

所以，我的问题是，我的 robots.txt 中是否有链接列表，允许的网络爬虫(Google、Bing等)会直接访问robots.txt中的链接吗？ ，或者他们会遵循 a下载网站中显示的链接，并在 robots.txt 中允许？

因为在第二种情况下，网络爬虫不会在下载的/中找到任何出现的URL。网站和 robots.txt文件。

Answer 1

您可以使用 Sitemaps为爬虫提供 URL 列表。正如@Barmar 提到的，robots.txt 的目的略有不同。