python - Python 中的日志分析

Question

对于我们的内部监控流程，我想了解某一天发生了多少异常。我们想从应用程序(Pylons 项目)的日志文件中提取信息。

我想在 Python 本身中执行此操作。我知道我可以编写一个脚本来对日志进行离线处理，以计算异常的数量(以及可能与异常相关的其他信息)。

我想问一下是否已经有一些库可以用来在 Python 中进行日志文件分析，或者最好的方法是什么？

Answer 1

我刚刚遇到了类似的情况并找到了 logtools用于该工作的 Python 包。我用它来分析 Tomcat6/Solr 日志文件。

从服务器复制日志并在虚拟环境中安装logtools:

mkdir /tmp/logwtf
cd /tmp/logwtf
scp server:/var/log/tomcat6/catalina.2012-02-03.log ./catalina.log
virtualenv --system-site-packages --distribute .
. bin/activate
pip install -e 'git+https://github.com/adamhadani/logtools.git#egg=logtools'

汇总搜索请求流量:

qps -r'^(.*?) org\.apache\.solr\.core\.SolrCore execute' \
    -F '%b %d, %Y %I:%M:%S %p' \
    -W900 \
    --ignore \
    <catalina.log

下午 1:10 到 1:20 之间的所有服务器事件:

qps -r'^(.*? 1:1.:.. PM) ' \
    -F '%b %d, %Y %I:%M:%S %p' \
    -W15 \
    --ignore \
    <catalina.log

logtools 包括用于过滤机器人的附加脚本，通过以下方式标记日志行国家、日志解析、合并、连接、采样和过滤、聚合和绘图、URL 解析、汇总统计和计算百分位数。见 package's GitHub page更多信息。