c# - 绘制海量数据图表

Question

我们目前正在使用ZedGraph绘制一些数据的折线图。输入数据来自任意大小的文件，因此，我们事先不知道最大数据点数是多少。但是，通过打开文件并读取文件头，我们可以找出文件中有多少个数据点。

文件格式本质上是[时间(double), value(double)]。但是，条目在时间轴上并不统一。在 t = 0 秒和 t = 10 秒之间可能没有任何点，但在 t = 10 秒和 t = 11 秒之间可能有 100K 个整数，依此类推。

例如，我们的测试数据集文件约为 2.6 GB，包含 3.24 亿个点。我们想向用户显示整个图表并让她浏览图表。然而，将 324M 点加载到 ZedGraph 不仅是不可能的(我们在 32 位机器上)，而且也没有用，因为屏幕上没有这么多点。

使用 ZedGraph 的 FilteredPointList 功能似乎也不成问题，因为这需要先加载整个数据，然后对该数据执行过滤。

因此，除非我们遗漏任何东西，否则我们唯一的解决方案似乎是 - 以某种方式 - 减少数据，但是随着我们继续努力，我们遇到了很多问题:

1- 我们如何抽取未按时均匀到达的数据？

2- 由于无法将全部数据加载到内存中，任何算法都需要在磁盘上运行，因此需要仔细设计。

3- 我们如何处理放大和缩小，尤其是当数据在 x 轴上不均匀时。

如果数据是统一的，在图表的初始加载时，我们可以根据文件中预定义的条目数量Seek()，并选择每隔 N 个样本并将其提供给 ZedGraph。然而，由于数据不统一，我们必须更智能地选择要显示的样本，并且我们无法想出任何不必读取整个文件的智能算法。

我很抱歉，因为这个问题没有非常尖锐的特异性，但我希望我能解释我们问题的性质和范围。

我们在 Windows 32 位 .NET 4.0 上。

Answer 1

我以前需要这个，但做起来并不容易。由于这个要求，我最终编写了自己的图形组件。最终结果更好，因为我加入了我们需要的所有功能。

基本上，您需要获取数据范围(最小和最大可能/需要的索引值)，将其分割为段(假设 100 个段)，然后通过某种算法确定每个段的值(平均值，中值等)。然后根据这些汇总的 100 个元素进行绘图。这比尝试绘制数百万个点要快得多:-)。

所以我说的和你说的差不多。您提到您不想绘制每个 X 元素，因为元素之间可能存在很长一段时间(x 轴上的索引值)。我的意思是，对于每个数据分割，确定什么是最佳值，并将其作为数据点。我的方法是基于索引值的，所以在你的 0 秒和 10 秒索引值之间没有数据的例子中，我仍然会把数据点放在那里，它们之间只会有相同的值。重点是在绘制数据之前汇总数据。仔细考虑你的算法来做到这一点，有很多方法可以做到这一点，选择适合你的应用程序的方法。您可能不编写自己的图组件而只编写数据汇总算法。