math - 通用时间序列在线异常值检测的简单算法

Question

我正在处理大量时间序列。
这些时间序列基本上是每 10 分钟进行一次网络测量，其中一些是周期性的(即带宽)，而另一些则不是(即路由流量)。

我想要一个简单的算法来进行在线“异常值检测”。基本上，我想将每个时间序列的整个历史数据保存在内存(或磁盘上)中，并且我想检测实时场景中的任何异常值(每次捕获新样本时)。
实现这些结果的最佳方法是什么？

我目前正在使用移动平均线来消除一些噪音，但接下来呢？像标准偏差，疯狂，......针对整个数据集的简单事情不能很好地工作(我不能假设时间序列是静止的)，我想要更“准确”的东西，理想情况下是一个黑匣子，如:

double outlier_detection(double* vector, double value);

其中 vector 是包含历史数据的 double 数组，返回值是新样本“value”的异常分数。

Answer 1

这是一个庞大而复杂的主题，答案将取决于 (a) 您想为此投入多少精力以及 (b) 您希望异常值检测的效果如何。一种可能的方法是 adaptive filtering ，通常用于降噪耳机等应用。您有一个滤波器，它不断适应输入信号，有效地将其滤波器系数与信号源的假设短期模型相匹配，从而减少均方误差输出。这会给你一个低电平输出信号(残余误差)，除非你得到一个异常值，这将导致一个尖峰，这很容易检测(阈值)。阅读 adaptive filtering , LMS filters等，如果你认真对待这种技术。