sitemap - 如何在高度动态的网站上生成站点地图？

Question

如果一个不断生成新页面的高度动态网站使用sitemap ？如果是这样，像 stackoverflow.com 这样的网站如何重新生成站点地图？如果每次有人添加问题时都不断地重新生成站点地图，那么似乎会耗尽宝贵的服务器资源。它是否按设定的时间间隔(例如每四个小时)生成新的站点地图？我很好奇大型动态网站如何实现这一点。

Answer 1

在 Stackoverflow(以及所有 Stack Exchange 站点)上，会创建一个 sitemap.xml 文件，其中包含系统上发布的每个问题的链接。当发布新问题时，他们只需将另一个条目附加到站点地图文件的末尾。添加到文件末尾并不需要大量资源，但文件很大。

这是 Google 等搜索引擎有效抓取网站的唯一方法。

杰夫·阿特伍德在博客文章中谈到了这一点:The Importance of Sitemaps

这是来自Google's webmaster help page on sitemaps :

Sitemaps are particularly helpful if:

• Your site has dynamic content.
• Your site has pages that aren't easily discovered by Googlebot during the crawl process - for example, pages featuring rich AJAX or Flash.
• Your site is new and has few links to it. (Googlebot crawls the web by following links from one page to another, so if your site isn't well linked, it may be hard for us to discover it.)
• Your site has a large archive of content pages that are not well linked to each other, or are not linked at all.