sql - 对于大量数据的简单分组查询，哪种数据库最有效？

Question

对于每个帐户，我有数百万个数据项(分析日志中的行)，每个都有 20-50 个数字属性(它们也可以为空)。我需要向他们展示主要涉及查询的统计数据，例如 SELECT SUM(f1), f2, f3 WHERE f4>f5 GROUP BY f2, f3。聚合函数有时比 SUM() 更复杂，而 GROUP BY 有时涉及简单的函数，如 ROUND()。问题在于此类查询是在用户界面中构建的，并且可以在这些属性的任意组合上运行(尽管当然有一些流行的组合)。

一旦进入数据库，数据很可能不会被修改，只会被读取。应该可以轻松地添加/删除属性——在数据库方面不一定是实时的，但它不应该像 MySQL 那样需要完整的表 block 。

哪种 SQL 或 NoSQL 数据库最适合处理这些类型的查询？我在考虑 PostgreSQL 或 MongoDB，尽管在后者中我很可能不得不使用 MapReduce 而不是它的 Group 特性，因为它的局限性。

关于此类查询的性能还有其他建议吗？这听起来完全可行，还是我必须要求用户预先定义他们想要运行的确切查询？

任何想法将不胜感激。

Answer 1

您需要什么样的查询性能？多久查询一次？

如果您对短时间内的查询性能没有问题并且查询率同样较低，那么您可以使用关系表，其中一个主表用于数据项，一个连接表用于属性。一定要在combination(property_type, data_item_id, property_value)上的第二个表上放一个组合索引，以保证良好的查询性能。你实际上并不需要 property_value 在那里，但如果你有它，那么查询可以以高效的方式从索引中提取它们的数据，这将使连接变得非常非常容易。您可以使用任何关系数据库执行此操作。我碰巧喜欢 P​​ostgreSQL，但 MySQL 也可以。 (但在复杂查询上效率较低。)

如果您遵循此策略，那么您想要的每个属性都将需要您添加另一个连接。但连接将相当有效。