logging - 数据挖掘日志以定位错误

Question

我正在开发一个数据分发应用程序，它从源接收数据并将该数据分发到多个目标应用程序。在 8 天内每秒成功分发几条消息后，它错过了一条消息并且没有正确地将它传递给客户端。

当我查看日志时，我试图找到一些在未命中发生时特别的东西——无论是在数据、速率还是其他一些条件中，但找不到任何东西。

是否有任何数据挖掘技术可以用来识别特定事件与其他事件的不同之处？

Answer 1

你可以看看outlier detection .一种基本技术是为大量消息绘制多个变量，然后查看该消息是否确实突出。同时可视化两个以上维度的方法是 parallel coordinates .也许您还应该查看半小时垃圾箱，计算它们的统计数据并查看此消息是否存在问题。