mysql - 在 MySQL 中生成海量数据集报告的最有效方法

Question

我需要为我正在开发的应用程序构建一个报告界面，该应用程序要求管理员可视化随时间推移收集的大量数据。

想想类似于 Google Analytics 等的东西。

大多数需要可视化的数据都位于一个基本表中，其中包含日期时间、“action”varchar 和其他可过滤数据 - 目前该表包含 150 万行，并且每天都在增长。

目前，我正在执行一个简单的选择，并按天分组应用过滤器，并且运行得很好，但我想知道是否有一种更智能、更有效的方法来提取此类数据。

干杯

Answer 1

1) 两层——原始数据和汇总数据。对于原始数据，索引可能没有帮助。在大多数情况下，您正在进行聚合，这需要进行全表扫描。如果没有，请重新组织，这样会更快。

2) 找出聚合数据，自动生成它们，并根据聚合数据运行报告。对这些汇总表建立索引!

3) 避免连接。聚合、具体化分组结果，然后加入聚合结果。

4) 分区。将一天的数据(或任何有意义的粒度)与另一天的数据分开。如有必要，制作自动表创建脚本(成熟的或功能丰富的脚本，具体取决于您的观点，数据库为您提供了一种称为“分区”的功能，可以以更理智的方式执行此操作)。

5) 阅读“数据仓库” http://en.wikipedia.org/wiki/Data_warehouse