SEO:允许爬虫在一次只有少数页面可见时索引所有页面

Question

我正在为 SEO 目的改进网站并遇到一个有趣的问题。除其他外，该站点还包括一个包含单个项目的大型目录(这些项目是什么并不重要)。每个项目都有自己的详细信息页面，可通过

访问

http://www.mysite.com/item.php?id=item_id

或

http://www.mysite.com/item.php/id/title

这个目录很大——里面有大约 100,000 个项目。自然地，在任何页面上都只列出了一些项目。例如，在主站点主页上，有大约 5 或 6 个项目的链接，在其他页面上有大约 12 个不同项目的链接，等等。

当真实用户访问该站点时，他们可以使用搜索表单按关键字或位置查找项目 - 因此会生成符合他们搜索条件的列表。但是，例如，当 google 爬虫访问该站点时，它甚至不会尝试将文本放入关键字搜索字段并提交表单。因此，就机器人而言，在为整个站点编制索引后，它最多只覆盖了几十个项目。自然地，我希望它分别为每个单独的项目编制索引。我在这里有哪些选择？

我考虑的一件事是检查用户代理和 IP 范围，如果请求者是机器人(我能说的最好)，则在最相关页面的末尾添加一个 div，其中包含指向每个单独项目的链接。是的，这将是一个巨大的页面加载 - 我不确定 google bot 对此会有何 react 。

还有什么我可以做的吗？这里的最佳做法是什么？

提前致谢。

Answer 1

One thing I considered is to check the user agent and IP ranges and if the requestor is a bot (as best I can say), then add a div to the end of the most relevant page with links to each individual item. Yes, this would be a huge page to load - and I'm not sure how google bot would react to this.

那将是一件非常的坏事。专门为搜索引擎的利益提供不同的内容称为 cloaking并且是让您的网站被禁止的好方法。甚至不考虑它。

每当网站管理员担心将其网页编入索引时，使用 XML 站点地图是确保搜索引擎了解您网站内容的简单方法。如果您的站点是数据库驱动的，它们也很容易创建和更新。 XML 文件不必是静态的，因此您可以在搜索引擎请求时动态生成它(Google、Yahoo 和 Bing 都支持 XML 站点地图)。您可以在 sitemaps.org 找到有关 XML 站点地图的更多信息。 .

如果您想让搜索引擎可以访问您的内容并希望从语义标记(即 HTML)中获益，您还应该确保可以通过超链接访问您的所有内容(换句话说，不是通过表单提交或 JavaScript) .这样做的原因有两个:

1. 您项目链接中的 anchor 文本将包含您希望获得良好排名的关键字。这是权重较高的排名因素之一。
2. 链接算作“投票”，尤其是对 Google。来自外部网站的链接，尤其是相关网站，是人们最常推荐的链接，而且理由很充分。它们很有值(value)。但内部链接也很重要，可以成为支撑内部项目页面的好方法。
3. (奖励)Google 拥有 PageRank，它曾经是其排名算法的重要组成部分，但现在只占很小的一部分。但它仍然具有值(value)，并且将 PageRank 链接“传递”到他们链接的每个页面以增加该页面的 PageRank。当您拥有尽可能多的页面时，就有很多潜在的 PageRank 可以传递。如果您的网站 build 得很好，您可能仅通过内部链接就可以将主页的 PageRank 提高到 6。

拥有一个以某种方式链接到您的所有产品的 HTML 站点地图是确保搜索引擎和用户可以轻松找到您的所有产品的好方法。还建议您构建站点，使更重要的页面更靠近网站的根目录(主页)，然后当您分支到子页面(类别)，然后到特定项目。这让搜索引擎知道哪些页面是重要的，并帮助他们组织它们(这有助于他们对它们进行排名)。它还可以帮助他们从上到下跟踪这些链接并找到您的所有内容。

Each item has its own details page, which is accessed via

http://www.mysite.com/item.php?id=item_id

or

http://www.mysite.com/item.php/id/title

这对 SEO 也不利。当您可以使用两个不同的 URL 调出同一页面时，您的网站上就有重复的内容。谷歌正在努力提高其索引的质量，他们认为重复的内容质量低下。他们臭名昭著的 Pandas 算法部分用于查找和惩罚内容质量低的网站。考虑到您拥有多少产品，您迟早会因此受到处罚。幸运的是，解决方案很简单。你只需要 specify a canonical URL为您的产品页面。我推荐第二种格式，因为它对搜索引擎更友好。

阅读my answer to an SEO question at the Pro Webmaster's site有关 SEO 的更多信息。