mysql - 拉取墙/仪表板数据，如 facebook、twitter、tumblr 等

Question

我觉得这必须在别处问，但我找不到正确的搜索词来找到答案。如果这是重复的，请指出其他地方的正确回复。

诸如 Facebook、Twitter、Tumblr 之类的服务，我相信还有很多其他服务可以让您关注其他用户。他们的帖子随后会出现在墙上或仪表板上。我想知道，在如此庞大的数据集下，这些服务如何能够如此快速地拉取帖子。我假设他们没有使用 SQL 服务器并且他们没有做类似的事情:

SELECT * FROM `posts` WHERE `poster_id` IN ( super long list of users being followed ) ORDER BY `date` LIMIT 10;

因为上面可能有一个非常大的用户 ID 列表，它同样不能很好地与所有这些大型服务使用的分片一起工作。

那么，谁能描述一下这些服务使用什么样的查询、算法或数据库来显示关注的帖子？

编辑:感谢大家的回复。看起来最有可能做到这一点的方法是通过图形数据库，例如 GraphDB、Neo4j 或 FlockDb，后者是 Twitter 的图形数据库。使用 Neo4j，它的完成类似于 http://docs.neo4j.org/chunked/milestone/cypher-cookbook-newsfeed.html 中记录的内容.

当然，Google、Facebook 等都针对其独特的用例拥有自己的内部构建或内部修改的数据库。

Answer 1

我可以说出一些关于如何更快地处理/获取数据的技术，但我不确定这些技术是否与 facebook、twitter 等实现的技术相同，因为它们中的每一个都建立在不同的平台上，并且架构。

1. 从缓存内存中获取数据 - 意味着用户将在不接触数据库的情况下获取数据，而不是从内存中获取数据
2. 将进程拆分到不同的服务器 - 意味着资源由多个服务器处理以防止出现瓶颈。

如果您想具体了解 facebook 使用的堆栈，您可以阅读链接。 http://royal.pingdom.com/2010/06/18/the-software-behind-facebook/