javascript - 如何平滑/减少/过滤大量传感器数据？

Question

我正在为一些产生大量基于时间的数据(例如温度、电流或电压)的工业设备构建可视化。所有数据都不断写入 SQL Server 数据库(无法控制该部分)。

HTML5 前端包含一个我用 d3.js 制作的交互式可缩放图表。可以按需将数据系列添加(加载)到图表中，在这种情况下，前端会发送一个 ajax 请求，ASP.NET MVC 和 EF6 从数据库中获取值并将它们作为 Json 返回。

每个数据元素只包含一个日期时间和一个值。请注意，这些值不是以固定的时间间隔(比如每 2 秒左右)写入，而是以不规则的时间间隔写入。这是因为设备不会定期轮询，而是会发送有关特定事件的数据，例如温度升高/降低 0.1 °C 的给定变化。

到目前为止，一切都非常顺利，但是大量的数据成为了一个问题。例如，当我想显示选定时间段(假设为 3 个月)的折线图时，每个数据系列已经包含 appr。 500.000 个值，因此来自服务器的 Json 响应也变得越来越大，并且随着时间的增加，请求花费的时间也越来越长。

所以我正在寻找一种方法来减少数据量而不丢失相关信息，例如温度曲线中的峰值等，但同时我想平滑掉信号中的噪声。

这是一个例子，请记住这只是几个小时或几天的选定时间段，通常用户也希望看到几个月甚至几年的数据:

绿线是温度，红条表示数字状态(在本例中是使其中一条温度曲线上升的加热器)。

你可以清楚地看到信号中的噪声，这就是我想要消除的。同时，我想保留像加热器打开后温度剧烈上升和下降那样的特征。

我已经尝试将原始数据分成给定长度的 block ，然后聚合其中的数据，这样我就有了该间隔的最小值、最大值和平均值。这行得通，但这样做我会丢失曲线的特征，一切都会变平或平均化。这是一张与上面相同时期的图片，缩小了一点，以便开始聚合:

上部系列的平均值显示为绿线，每个印章的范围(最小/最大)由平均线周围的绿色区域表示。

是否有某种奇特的算法可以用来在数据从数据库中出来并发送到前端之前过滤/平滑/减少我的数据？我需要挖掘的流行语是什么？非常感谢任何特定的库、框架或技术，以及对此主题的一般评论。我主要对服务器端解决方案感兴趣，但请随时提及客户端 Javascript 解决方案，因为面对相同问题的其他人肯定会对它们感兴趣。

Answer 1

“是否有某种奇特的算法可以用来在数据从数据库中出来并发送到前端之前过滤/平滑/减少我的数据？我需要挖掘的流行语是什么？之后？”

我问过我在大学工作的 friend ，她说 Fourier Transforms可能可以使用...但对我来说这看起来像荷兰语:)

编辑:我自己多看了一点，因为您的数据是时间采样的，我猜您会对 Discrete Time Fourier Transforms 感兴趣

围绕这个主题的进一步搜索引导我 here - 而且，在我(公认的外行)看来，这看起来很有用......

进一步编辑:

因此，该链接让我认为您应该能够在服务器端删除(例如)每隔一个样本:然后在客户端，您可以使用该链接中描述的插值技术(使用傅立叶逆变换)以有效地“恢复”客户端丢失的点:你已经转移了一半的点，但结果图将完全相同，因为在客户端你已经插入了丢失的样本...... . 或者那是偏离基地的方式？ :)