algorithm - 如何设计监控算法来检测流量激增？

Question

我现在正在开发一个监控系统来检测主机/uri的流量激增。详细过程是读取实时nginx访问日志，计算每个主机的总流量并报告流量激增。

例如，对于每 1 分钟，如果主机的流量高达 1000/分钟，我的算法将找到它。但是，

1. 我的监控系统有很多主机要同时监控
2. 主机的事件彼此相差很大
3. 每个宿主的事件在一天中随时间变化很大。

所以，仅仅为每台主机配置一个thread-hold并不是一个好的解决方案。任何人都可以给我一些建议吗？我想实现的是，找到一种自动检测方法，可以根据每台主机每分钟的流量统计数据对突然/意外的流量激增进行报警，并且需要很少的预配置并且或多或少是智能的？

Answer 1

Percona 工具包、高性能 MySQL 书籍的作者和 VividCortex 的联合创始人 Baron Schwartz 最近发布了一本关于此主题的免费书籍:Anomaly detection for monitoring .

我听过他在好几次 session 上的演讲。他非常令人印象深刻。 (其中许多演讲都在 YouTube 上。)