search-engine - 搜索引擎从哪里开始抓取？

Question

搜索引擎机器人使用什么作为起点？是 DNS 查找还是从一些固定的知名站点列表开始？有什么猜测或建议吗？

Answer 1

你的问题可以有两种解释:

您是在问搜索引擎一般从哪里开始抓取，还是从哪里开始抓取特定网站？

我不知道大玩家是如何运作的；但如果您要制作自己的搜索引擎，您可能会将其植入流行的门户网站。 DMOZ.org似乎是一个流行的起点。由于大玩家拥有比我们多得多的数据，他们可能会从不同的地方开始爬行。

如果您要问 SE 从哪里开始抓取您的特定网站，这可能与您的哪些页面最受欢迎有关。我想，如果您有一个 super 受欢迎的页面，许多其他站点都链接到该页面，那么这将是 SE 开始进入的页面，因为其他站点有更多的入口点。

请注意，我不从事 SEO 或任何其他工作；我刚刚为我正在从事的一个项目研究了一段时间的机器人和 SE 流量。