seo - 链接在一起 >100K 页面而不会受到 SEO 惩罚

Question

我正在制作一个网站，该网站将对 Internet 上数十万个其他网站的隐私政策进行审查。它的初始内容基于我对 CommonCrawl 的运行50 亿页网页转储和 analyzing all the privacy policies使用脚本来识别某些特征(例如“出售您的个人信息”)。

根据SEO MOZ Beginner's Guide to SEO :

Search engines tend to only crawl about 100 links on any given page. This loose restriction is necessary to keep down on spam and conserve rankings.

我想知道创建一个没有孤立页面的导航网络的聪明方法是什么，但仍然可以避免他们所说的这种 SEO 惩罚。我有几个想法:

• 创建按字母顺序排列的页面(或 Google Sitemap .xml)，例如“以 Ado* 开头的网站”。例如，它会将“Adobe.com”链接到那里。这种做法，或任何其他无意义的页面拆分，似乎有点做作，我想知道 Google 是否会不喜欢它。
• 使用元关键字或描述进行分类
• 想办法应用更有趣的类别，例如地理类别或基于内容的类别。我担心的是，我不确定如何将这些类别全面应用于这么多网站。我想如果需要的话，我可以编写另一个分类器来尝试分析抓取的页面内容。不过，这本身就是一项艰巨的工作。
• 使用 DMOZ 项目帮助对页面进行分类。

维基百科和 StackOverflow 显然已经很好地解决了这个问题，允许用户对所有页面进行分类或标记。就我而言，我没有那么奢侈，但我想找到最好的选择。

这个问题的核心是 Google 如何响应不同的导航结构。它会惩罚那些以程序化/无意义的方式创建网页的人吗？还是只要一切都通过链接连接就无所谓了？

Answer 1

Google PageRank 不会因为页面上有超过 100 个链接而惩罚您。但是，在 PageRank 算法中，每个超过特定阈值的链接的值(value)/重要性都会降低。

引用 SEOMOZ 和 Matt Cutts 的话:

Could You Be Penalized?

Before we dig in too deep, I want to make it clear that the 100-linklimit has never been a penalty situation. In an August 2007 interview,Rand quotes Matt Cutts as saying:

The "keep the number of links to under 100" is in the technicalguideline section, not the quality guidelines section. That meanswe're not going to remove a page if you have 101 or 102 links on thepage. Think of this more as a rule of thumb.

当时，很有可能谷歌在某一点后开始忽略链接，但在最坏的情况下这使那些后 100 的链接无法通过 PageRank。页面本身不会被取消索引或受到惩罚。

所以真正的问题是如何让 Google 认真对待您的所有链接。您可以通过生成供 Google 抓取的 XML 站点地图来实现此目的(您可以拥有静态 sitemap.xml 文件，也可以动态生成其内容)。您将需要阅读 About Sitemaps Google 网站站长工具帮助文档的一部分。

就像页面上链接太多是个问题一样，XML 站点地图文件中的链接太多也是个问题。您需要做的是对您的 XML 站点地图进行分页。 Jeff Atwood 谈到了 StackOverflow 如何实现这一点:The Importance of Sitemaps . Jeff 还在 StackOverflow podcast #24 上讨论了同样的问题.

此外，这个概念适用于 Bing