Python解析日志文件实时提取事件

Question

我有一个将消息记录到文件的进程。

我想实现另一个进程(在 Python 中)解析这些日志(当它们写入文件时)，过滤我感兴趣的行，然后根据第一个进程的状态执行某些操作。

在我继续自己写一些东西之前，我想知道 Python 中是否有一个库可以做这样的事情。

此外，关于如何实现类似 Python 的东西的想法将不胜感激。

谢谢。

Answer 1

C 程序通常会查找当前位置以清除任何“文件结束”标志。但是作为@9000 correctly pointed out , python 显然会处理这个问题，所以你可以重复读取同一个文件，即使它已经到达文件末尾。

不过，您可能需要处理不完整的行。如果您的应用程序将其日志分段写入，那么您要确保处理整行，而不是那些分段。以下代码将实现这一点:

f = open('some.log', 'r')
while True:
    line = ''
    while len(line) == 0 or line[-1] != '\n':
        tail = f.readline()
        if tail == '':
            time.sleep(0.1)          # avoid busy waiting
            # f.seek(0, io.SEEK_CUR) # appears to be unneccessary
            continue
        line += tail
    process(line)