mysql - 准备百万行数据进行可视化

Question

我们希望开发一个基于 Web 的应用程序，能够使用数百万行数据生成报告，而且数据每秒都在增长。我们使用Mysql数据库。

我们希望使用这些数据生成报告。这就是为什么我们需要过滤数据，对其进行一些计算并将其作为图表、表格等提供...构建图表、表格就可以了，我问的是如何导出数据。

导出报告数据的第一种方法是使用 native SQL 查询；但是，每个报告的过滤和计算非常慢，因此我们将有超过 100 个可以导出报告的用户。

第二种方式是使用 View ；我们可以为自定义计算和 View 构建 View ，这是处理计算的简单方法，但查询速度很慢。所以过滤会减慢我们的速度。

我不知道是否可以使用外部工具来实时过滤和计算数据。生成报告数据的最佳且快速的方法是什么。

Answer 1

数据库级别的过滤应该比其他方式更快。由于我没有太多关于您的数据库、表和查询的信息，您可以尝试修改表架构、在过滤器列上添加键、使用解释查询、更改 where 子句中过滤器列的顺序、仅提取必要的列等等从后端到前端传输尽可能少的数据等。在客户端执行所需的任何额外数据操作。希望这会有所帮助。