python - 解析日志文件以查找Python中的相关事件

Question

我有一个日志文件，需要解析该文件以查找某个事件后面是否跟着另一个相关事件。本质上，第一个事件是单独的还是具有关联的成对事件。例如，数据可以采用以下形式:

Timestamp         Event        Property1        Property2      Property3
1445210282416     E1             A               1               Type1   *
1445210282434     F1             D               3               Type10      
1445210282490     E1             C               5               Type2
1445210282539     E2             A               1               Type1   *
1445210282943     F1             D               1               Type15 
1445210285452     E2             C               4               Type3

这是一个简化的示例，但本质上与数据文件相同。我们正在尝试查找事件 E1 是否有对应的事件 E2，其中 Property1、Property2 和 Property3 但要相等，就像在显示 * 的两个事件中一样。第二个 E1 事件(第 3 行)没有对应的 E2 事件。我还需要记录此类事件的计数，没有与 Property3 相对应的对作为 key ，以供以后使用。

文件可能非常大(大约 1 GB)，应避免将整个文件同时存储在内存中。所以，我想我可以使用发电机。

初步尝试是:

with open(filename, 'rb') as f:
    finding_pair = 0      # indicator to help determine what to do in a line of the file
    e1 = {}               # store the E1 row whose pair we want to find
    without_pair = {}     # store count of E1 events with no pair

    line = csv.DictReader((line for line in f), delimiter = ' ')

    for l in line:
        if l['Event'] = E1 and finding_pair = 0:  # find pair for this  
           // Go through file after this line to find E2 event.
           e1 = l
           finding_pair = 1
        elif (l['Event'] = E1 or l['Event'] = F1) and finding_pair = 1: # skip this and keep finding pair   
            continue
        elif l['Event'] = E2 and finding_pair = 1: # see if this is a pair
            if l['Property1'] == e1['Property1'] and l['Property2'] == e1['Property2'] and l['Property3'] == e1['Property3']:
                # pair found
                finding_pair = 0
                // Go to next E1 line ??
            else:
               # pair not found
               without_pair['Property3'] += 1
               // Go to next E1 line ??

所以，我的问题是:

• 在移动后如何将迭代器移回到第 3 行中的 E1到第 4 行的 E2 找到我的配对？
• E1 和 E2 发生的时间应该非常接近(1 分钟内)。如何避免限制在 1 分钟内检查该对。 E1 的窗口？
• 有更好的方法来解决这个问题吗？

Answer 1

TXR中的解决方案

脚本:基于将data复制到pair.txr并编辑以添加提取和输出指令。

$ cat pair.txr
Timestamp         Event        Property1        Property2      Property3
@ts1 E1 @p1 @p2 @p3
@(skip)
@(line ln)
@ts2 @e2 @p1 @p2 @p3
@(output)
Duplicate of E1 found at line @ln: event @e2 timestamp @ts2.
@(end)

运行:

$ txr pair.txr data
Duplicate of E1 found at line 5: event E2 timestamp 1445210282539.

在一些不匹配的数据上运行:

$ txr pair.txr /etc/motd   # failed termination status
$ echo $?
1

数据是:

$ cat data
Timestamp         Event        Property1        Property2      Property3
1445210282416     E1             A               1               Type1
1445210282434     F1             D               3               Type10
1445210282490     E1             C               5               Type2
1445210282539     E2             A               1               Type1
1445210282943     F1             D               1               Type15
1445210285452     E2             C               4               Type3

如果限制第二个事件必须明确具有名称 E2，那么我们可以简单地将 e2 变量替换为文字文本 E2.

如果您知道重复项必须在 100 行之内出现，则可以使用 @(skip 100)。这可以防止浪费时间扫描没有重复的大文件。当然，100 不必是恒定的；是可以计算出来的。如果有多个重复项，@(skip :greedy) 将找到最后一个重复项。

请注意，即使 @(line ln) 本身位于一行，但它具有不消耗一行的语义。它将 ln 变量绑定(bind)到输入中的当前行号，但不会前进到下一行，以便模式语言的后续行应用到同一行。因此 ln 表示该模式匹配的行。

现在，让我们做一些有趣的事情:让我们为 E1 和第二个事件使用变量。此外，我们不要假设要匹配的事件是第一个:

Timestamp         Event        Property1        Property2      Property3
@(skip)
@ts1 @e1 @p1 @p2 @p3
@(skip)
@(line ln)
@ts2 @e2 @p1 @p2 @p3
@(output)
Duplicate of @e1 found at line @ln: event @e2 timestamp @ts2.
@(end)

就目前情况而言，此代码现在将仅查找数据中的第一个a对:

$ txr pair.txr data
Duplicate of E1 found at line 5: event E2 timestamp 1445210282539.

我们现在可以做的是从命令行约束变量，如下所示:

# Is there an E1 followed by a duplicate?
$ txr -De1=E1 pair.txr data 
Duplicate of E1 found at line 5: event E2 timestamp 1445210282539.

# Is there an E2 followed by a duplicate?
$ txr -De1=E2 pair.txr data 
$ echo $?
1

# Is there some event which is followed by a dupe called E2?
$ txr -De2=E2 pair.txr data 
Duplicate of E1 found at line 5: event E2 timestamp 1445210282539.

# Is there a pair of duplicates whose Property3 is Type1?
$ txr -Dp3=Type1 pair.txr data
Duplicate of E1 found at line 5: event E2 timestamp 1445210282539.

你明白了。