java - 如何从日志中分析执行时间？

Question

我使用 log4j 和 %d ... 转换模式，这使得每条日志消息都以时间戳开头，如下所示:2011-06-26 14:34:16,357 。我记录我提交的每个 SQL 查询。

我想分析 SQL 查询之间的增量，甚至可能聚合完全相同的 SQL 查询的最大时间和平均时间的多次执行。

你会如何处理这个问题？使用 grep 和一些 excel 工作？有没有一些常见的方法/工具/脚本可以让我的生活变得轻松？

附注让事情变得更烦人的是，我的 SQL 是多行的，因此 log4jdbc sqltiming 记录器像这样打印它们:

2011-06-26 14:43:32,112 [SelectCampaignTask ] INFO : jdbc.sqltiming - CREATE INDEX idx ON tab CRLF
USING btree (id1, id2, emf);  {executed in 34788 msec}

Answer 1

我很想编写一个 Groovy/Perl/Python 脚本来使用正则表达式来分离日志。

如果将输出转储为 CSV，您当然可以使用 Excel 进行数据挖掘。

另一种方法是将日期时间、线程、类别级别和日志消息写入数据库表。编写 SQL 查询来编写报告是生成关于时间范围的自定义报告(如过滤器等)的非常简单的方法。

挖掘日志文件似乎是大多数开发人员的必经之路，并且通常是学习脚本语言的好时机......