python - 查看日志文件的脚本

Question

当我查看服务器上的日志时，我希望在深入挖掘之前快速了解我所面临的问题类型。我通常使用下面的单行代码，它通过使每一行更通用并仅保留唯一的行来减少我需要查看的日志行的数量。

一行

cat /var/log/apache2/error.log | sed 's/.*] \(.*\)/\1/' | sed 's/[0-9]*//g' | sort | uniq

解释

| sed 's/.*]\(.*\)/\1/':删除最后一个括号组内和之前包含的所有内容，这些括号组通常对应于客户端/系统特定的信息，例如 [Mon 2011 年 12 月 5 日 12:01:03] [错误] [客户端 a.b.c.d]

| sed 's/[0-9]*//g':删除数字

|排序 | uniq:只保留不同的行。

为了给您一个想法，在包含大约 500 行的 /var/log/apache2/error.log 上，它过滤掉了 25 行。当然，日志条目越通用/相似，单行代码越有效。

我现在正在寻找的是一个脚本(可以是 bash、perl、python 或任何其他实际上可以做的)同样的事情，但更先进一点，以便更有效(例如，混淆文件路径、字母 ID……)和有用(计算每条消息的出现次数，与日志总量相比的百分比……) .

您知道执行此操作的脚本吗？

Answer 1

看看logwatch .它确实会向您发送常见日志文件的每日概览。到目前为止，我只将它用于邮件日志，但据我所知，它也可以处理 Apache 日志。