events - 实时检测事件频率的峰值

Question

在 Web 应用程序中，每次发生事件时我都会得到一个触发器。我想检测“暴力”频率峰值，这可能会转化为异常行为。

我可以想到两种天真的方法来实现这一目标:

固定阈值 - “如果在一分钟内发生超过 500 个事件，那么可能是错误的”。这种方法不能处理平滑的阈值突破或稳定增加的流量，除非应用程序可以定期调整阈值。

与窗口相关的启发式 - 将窗口分成 N 个相等 (?) 的间隔。当 N>0 时，计算 [now-(N*interval_length), now] 中事件发生的频率。将其保存在列表中。将 N 减少 1。重复。检测列表异常值。如果有一个异常值大于 [now-window_length, now] 的平均频率，那么可能是错误的。"

我想知道是否有针对此问题的通用/标准解决方案，或者您是否可以想到更有效或更优雅的方法。

先感谢您。

编辑 - 另一个建议

我的一个 friend 建议使用 Holt-Winters 预测进行异常行为检测。您可以在以下链接中找到有关此方法的更多信息:

http://www.hpl.hp.com/news/events/csc/2005/jake_slides.pdf

http://www.usenix.org/events/lisa00/full_papers/brutlag/brutlag_html/

Answer 1

我不是专家。我会怎么做:

假设您只保留最后一个 n结果和 x_n是最后一个样本(与前一个事件的时间差)。

α_n x_n + α_{n-1}/2 x_{n-1} + ... + α_{1} 2^{-n} x_1 = T

如果差 T - T_{previous} ，其中 T_{previous}是 T 的先前值，超越极限，做点什么。

如果您的值是 x_i是二进制的，你可以用 shift和 or操作，如果速度是问题。