sitemap - 在站点地图中，是否建议包含指向站点上每个页面的链接，或者只包含需要它的页面？

Question

我正在为我的网站创建站点地图。我这样做是因为我有大量页面，用户通常只能通过搜索表单访问这些页面。

我创建了一种自动方法，用于从数据库中提取链接并将它们编译成站点地图。但是，对于所有可定期访问且不在数据库中的页面，我必须手动检查并将它们添加到站点地图。

令我印象深刻的是，常规页面是那些无论如何都会被普通爬虫找到的页面，因此手动添加这些页面似乎很麻烦，然后确保站点地图对它们的任何更改保持最新。

如果它们已经被编入索引，并且我的站点地图只包含我的动态页面，那么将它们排除在外是不是很糟糕？

Answer 1

Google 会抓取它发现的任何网址(如 robots.txt 所允许的那样)，即使它们不在站点地图中也是如此。只要您的静态页面都可以从站点地图中的其他页面访问到，就可以排除它们。但是，站点地图 XML 的其他功能可能会促使您在站点地图中包含静态 URL(例如修改日期和优先级)。

如果您愿意编写一个脚本来自动为数据库条目生成站点地图，那么请更进一步，让您的脚本也为静态页面生成条目。这可能就像搜索 webroot 并查找 *.html 文件一样简单。或者，如果您使用的是框架，请迭代框架的静态路由。