database - 在数据库中存储大量数据

Question

我目前正在从事一个家庭自动化项目，该项目为用户提供了查看一段时间内能源使用情况的可能性。目前，我们每 15 分钟请求一次数据，我们预计我们的第一个大型试点将有大约 2000 名用户。

我的老板要求我们至少存储半年的数据。快速求和得出大约 3500 万条记录的估计值。尽管这些记录很小(每条约 500 字节)，但我仍然想知道将它们存储在我们的数据库 (Postgres) 中是否是一个正确的决定。

有没有人有一些好的引用资料和/或建议如何处理这些信息量？

Answer 1

目前，35M 条记录(每条 0.5K)意味着 37.5G 数据。这适合您的试点数据库，但您还应该考虑试点之后的下一步。当试点取得巨大成功时，您的老板不会高兴，并且您会告诉他如果不重新设计所有内容，您将无法在接下来的几个月内向系统添加 100,000 个用户。另外，VIP用户每分钟请求数据的新功能怎么样......

这是一个复杂的问题，您做出的选择将限制您的软件的发展。

对于试点，尽可能简单，以尽可能便宜的价格推出产品 --> 数据库。但是告诉你老板，你不能那样打开服务，你必须在每周获得 10,000 个新用户之前做出改变。

下一版本的一件事:有很多数据存储库:一个用于您经常更新的用户数据，一个用于您的查询/统计系统，...

你可以看看RRD为您的下一个版本。

还要记住更新频率:2000 个用户每 15 分钟更新一次数据意味着每秒更新 2.2 次 --> 好的； 100,000 个用户每 5 分钟更新一次数据意味着每秒更新 333.3 次。我不确定一个简单的数据库能否跟上这一速度，而单个 Web 服务服务器绝对不能。