xml - RSS 阅读器的工作原理(netvibes、Google 阅读器...)

Question

我想知道像 Google Reader、Logline、technorati 这样的 Web 应用程序是如何工作的，以及它们遵循什么技术来使用 cron 作业一次解析数百万个 RSS 提要？

Answer 1

有很多不同的技术……“最差”的技术就是您所描述的技术。 (基于时间的轮询)。

您首先需要考虑的是，它们可能并非都在服务器端进行解析。例如，我知道 Netvibes 是在客户端进行解析(但将内容缓存在服务器上)，因此为他们节省了很多资源。这样一来，他们只有在用户向他们提出要求时才轮询提要，因此他们无需运行某种时间循环。

不幸的是，基于时间的轮询仍然是最常见的解决方案。有很多技术可以确定何时是进行民意调查的最佳时间。基于过去的更新频率，基于订阅的用户数量......等等。这些人也可以使用旧的 XML-RPC ping 服务器。

最有效的技术是使用 PubSubHubbub ，它是 Google Reader、Netvibes 和几千个其他应用程序(如 Digg.com、Twitterfeed、Friendfeed...)使用的开放协议(protocol)。它是一个开放协议(protocol)，允许提要发布者直接将提要的内容推送到订阅应用程序。它非常有效，但需要发布者来实现它。一个偶然的机会，所有大型博客平台(Tumblr、Posterous、Wordpress、Blogger、SixApart...等)都已经实现了它。其他提要发布应用程序(如 feedburner、Gowalla 等)也实现了它。如果您确实发布了提要，我鼓励您加入这个人群，如果您打算使用一些提要，请同时实现 susbcriber 端。

最后的解决方案是使用第 3 方应用程序来收集数据(使用上述所有技术)并在这些提要实际上有新内容时通知您。我创建了一个:Superfeedr我相信我们在这方面做得很好。我们还规范了内容并做了一些其他事情来帮助您以最简单和廉价的方式使用提要数据(轮询可能非常昂贵)。此外，我们使用完全相同的 PubSubHubbub 协议(protocol)从任何提要推送内容，这使得我们的用户除了订阅可用的中心之外，还可以非常简单地使用我们的服务。

此外，我应该补充一点，我能够快速回复您的问题，因为我使用的应用程序会向我推送带有 RSS 标签的问题的提要内容 :)