algorithm - 计算句子之间的相似度

Question

我有包含数千行错误日志及其描述的数据库。此错误日志适用于 24/7 全天候运行的应用程序。我想创建一个仪表板/UI 来查看当前发生的生产支持常见错误。

我遇到的问题是，即使有很多常见错误，错误描述也会因交易 ID 或用户 ID 或对于该单一进程唯一的内容而有所不同。

例如用户 233 的错误交易 XYz 失败例如 2. 用户 567 的错误交易 XYz 失败

我认为这两个错误是一样的。所以我想要一个程序来检查新的错误日志并将它们分类。我正在尝试使用“编辑距离”，但它非常慢。因为我已经有旧的错误日志，所以我也在尝试考虑使用该信息的解决方案。有什么想法吗？

Answer 1

我假设错误消息是由程序生成的，因此它们可能属于非常特定的模式。

这意味着您不必做任何特别复杂的事情。只需解析错误消息:使用正则表达式(或更强大的东西)将消息拆分为元组。然后对各个字段进行分组或计数或做一些事情。例如，您可以执行类似“用户 ([0-9]*) 的错误交易 ([A-Z]*) 失败”这样的正则表达式。然后，您可以制作错误代码(第一个捕获组)或用户(第二个捕获组)的直方图。