Heroku 上的数据库分片

Question

在接下来几个月的某个时候，我们的应用程序将达到我们需要对数据库进行分片的大小。我们使用 Heroku 进行托管，Node.js/PostgreSQL 堆栈。

从概念上讲，让我们的应用程序让每个逻辑分片代表一个用户以及与该用户关联的所有数据是有意义的(我们应用程序的每个用户都会生成大量数据，并且用户之间没有交互)。我们需要保留用户对他们的数据进行复杂的即席查询的能力。我读过很多关于分片的文章，比如这篇文章:http://www.craigkerstiens.com/2012/11/30/sharding-your-database/

从概念上讲，我了解分片的工作原理。然而在实践中，我不知道如何在 Heroku 上实现它，就我需要编写什么代码以及我需要修改应用程序的哪些部分而言。非常感谢指向教程或一些指示的链接。

以下是我已经看过的一些资源:

• http://www.craigkerstiens.com/2012/11/30/sharding-your-database/
• MySQL sharding approaches?
• Heroku takes care of multiple database servers?
• http://petrohi.me/post/30848036722/scaling-out-postgres-partitioning
• http://adam.heroku.com/past/2009/7/6/sql_databases_dont_scale/
• https://devcenter.heroku.com/articles/heroku-postgres-follower-databases
• Why do people use Heroku when AWS is present? What distinguishes Heroku from AWS?

Answer 1

作为第一篇文章的作者，很高兴进一步插话。当谈到分片时，一个非常关键的组件就是你分片的关键。当您拥有跨不同物理节点混合的数据时，分片的复杂性才真正发挥作用。如果您是一个 Multi-Tenancy 应用程序，那么围绕租户或客户的想法对所有数据建模 can fit very cleanly in this setup .在这种情况下，您将希望分解所有与客户相关的表，并以与其他租户相关表相同的方式对它们进行分片。

至于在 Heroku 上执行此操作，有两种选择。您可以自己使用 Heroku Postgres 和应用程序逻辑，或者使用 Citus 之类的东西(这是一个可以帮助您管理更多此类内容的插件。

要自行滚动，您将首先创建各种应用程序逻辑来处理所有分片的创建并了解将适当的查询路由到何处。对于 Rails，有一些 gem 可以帮助解决这个问题，比如 activerecord-multi-tenant或 apartment .当涉及到实际转移到分片和迁移时，您需要做的是创建一个 Heroku 追随者来开始。在迁移过程中，您将开始取消关注。然后，您将从原始主数据中删除一半数据，从您相应分离的从数据中删除另一半数据。