用于发现流量数据中的异常 ("spikes") 的算法

Question

我发现自己需要处理使用 tcpdump 捕获的网络流量。读取流量并不难，但有点棘手的是找出流量中的“峰值”。我最关心的是 TCP SYN 数据包，我想做的是找到给定目标端口的流量突然增加的日子。有相当多的数据需要处理(大约一年)。

到目前为止我尝试的是使用指数移动平均线，这足以让我得出一些有趣的措施，但是将我所看到的与外部数据源进行比较似乎有点过于激进将事物标记为异常。

我考虑过结合使用指数移动平均线和历史数据(可能来自过去 7 天，认为我所看到的应该有一个每周周期)，正如我读过的一些论文似乎已经成功地以这种方式对资源使用进行建模。

那么，有没有人知道一个好的方法或去哪里阅读此类内容。

我一直在使用的移动平均线大致如下:

avg = avg+0.96*(new-avg)

avg 是 EMA，new 是新的衡量标准。我一直在尝试使用什么阈值，但发现“必须是一个给定的因子，在权衡新值之前高于平均值”和“必须至少高出 3 个”才能得到最少的坏结果。

Answer 1

这在入侵检测文献中得到了广泛研究。这是一篇关于该问题的开创性论文，除其他外，它展示了如何分析 tcpdump 数据以获得相关见解。

这是论文:http://www.usenix.org/publications/library/proceedings/sec98/full_papers/full_papers/lee/lee_html/lee.html这里他们使用 RIPPER 规则归纳系统，我想你可以用新的东西替换那个旧的，比如 http://www.newty.de/pnc2/或 http://www.data-miner.com/rik.html