python - 缩放追随者模型

Question

这个问题有点类似于 twitter/facebook 的问题:

• 关注者和关注者
• 用户添加项目

随后您会看到您关注的所有人员添加的项目。

问题 A:如何保持对您所关注的人添加的项目的查询与不断增长的数据集配合良好？

问题 B:我们看到流量在地理上分散。在荷兰和巴西拥有庞大的用户群。任何解决方案都可能需要允许跨多个数据中心的数据库。

我们正在 django/python 堆栈上运行。已经运行边缘服务器缓存。 (匿名用户获取缓存版本，登录用户版本先通过二级模板解析服务运行)

Answer 1

问题 A:如何保持对您所关注的人添加的项目的查询与不断增长的数据集配合良好？

从(谁是我的关注者/我正在关注谁)的数据集开始；人们可以将这些值保存为元组，并将它们跨多个 SQL 数据库进行分段(尽管我怀疑即使对于 twitter 大小的数据库也确实需要真正的分段)。这将给出被关注的人的列表。其次，可以轻松查询关注者->项目的表，按关注者排序；如果需要的话，还可以根据庞大的数据集进行分段。

问题 B:我们看到流量在地理上分散。在荷兰和巴西拥有庞大的用户群。任何解决方案都可能需要允许跨多个数据中心的数据库。

可以指定主数据库(集群)和从数据库(集群)，并将数据从主数据库复制到从数据库。但是，这确实意味着数据始终保存到主数据库中。数据查询可以在本地完成。

另一个选择是在主-主设置中运行数据库(集群)；但这通常会带来更多麻烦，而不是值得的。