database - 非常大的数据库，非常小的部分大部分是实时检索的

Question

我有一个有趣的数据库问题。我有一个 150GB 大小的数据库。我的内存缓冲区是 8GB。

我的大部分数据很少被检索，或者主要由后端进程检索。我非常愿意保留它们，因为某些功能需要它们。

其中一些(即一些表，以及某些表的一些可识别部分)经常以面向用户的方式使用

如何确保后者始终保存在内存中？ (这些空间绰绰有余)

更多信息:我们在 Ruby on Rails 上。数据库是MYSQL，我们的表是用INNODB存储的。我们将数据分片到 2 个分区。因为我们正在对其进行分片，所以我们使用 JSON blob 存储大部分数据，同时仅索引主键

更新 2棘手的是，数据实际上被用于后端进程和面向用户的功能。但后者访问它们的频率要低得多

更新 3现在有些人评论说 8Gb 是玩具。我同意，但如果有更智能、更高效的解决方案，那么仅仅增加数据库的大小就是纯粹的懒惰

Answer 1

这就是我们拥有数据仓库的原因。将这两件事分成 (a) 单独的数据库或 (b) 一个数据库中的单独模式。

1. 最新数据，可立即访问，正在更新。

2. 数据是历史事实，用于分析，不会更新。

150Gb 不是很大，一个数据库可以处理少量的实时数据和大量的历史数据。

使用“周期性”ETL 过程从事件数据库中取出数据，反规范化为星型模式并加载到历史数据仓库中。