python - 如何获取日志文件中执行的重叠进程的结束时间？

Question

首先，我尝试编写一个简单的 py 脚本，它可以解析或抓取“.log”文件并将关键变量及其值提取到 .txt 或 .csv 文件中。我遇到的问题是获取各个用户运行的每个进程的结束日期/时间戳。由于这些日志文件是基于查询的，因此它显示数据库中每个用户每天每秒 (ms) 生成的所有逻辑和物理 SQL 进程。所以基本上，假设我在上午 8:00 运行一个进程，我的好友也在上午 8:00 运行一个进程(或 8:01、8:02 等......并不重要)，但假设他的进程在之前结束矿。现在，每个开始/结束时间都是交织在一起的，更不用说全天多达一百个左右的其他用户了。此外，每个运行的进程可以在不同的 block 数据之间有“x”个时间戳。

由于我发现了一个常见模式，我成功地捕获了开始时间。我所知道的结束时间的唯一模式是它具有与开始时间相同的匹配字段之一“[requestid: w+]”。它是一个唯一的标识符。我一直在尝试在正则表达式中使用环视，但还没有太多运气。有没有更好的方法可以尝试或者有人知道其他解决方案吗？我将在下面插入一个日志格式的示例。开始时间行始终包含“#”符号和“SQL 请求...哈希”。但是，如果您注意到“requestid:{}”值，则除了最后一个之外，每个值都是相同的，因为它是新进程的开始。这里的结束 T/S 位于“09:14:55.22”。(我省略了中间的多个输出，以使其尽可能短。)新进程的开始恰好在最后。

[2019-06-12T09:14:54.947-05:00] [OBIS] [TRACE:2] [] [] [ecid: 6ca4862b-14d1-4a7f-8158-5e6cac363144-001477ac,0:1:65:3] [sik: ssi] [tid: 1fbe1700] [messageid: USER-0] [requestid: bf710010] [sessionid: bf710000] [username: kadaniel] ############################################## [[
-------------------- SQL Request, logical request hash:
83bf7e6f
]]
[2019-06-12T09:14:54.995-05:00] [OBIS] [TRACE:2] [] [] [ecid: 6ca4862b-14d1-4a7f-8158-5e6cac363144-001477ac,0:1:65:5] [sik: ssi] [tid: 1fbe1700] [messageid: USER-16] [requestid: bf710010] [sessionid: bf710000] [username: kadaniel] -------------------- Execution plan: [[
]]
[2019-06-12T09:14:55.02-05:00] [OBIS] [TRACE:2] [] [] [ecid: 6ca4862b-14d1-4a7f-8158-5e6cac363144-001477ac,0:1:65:5] [sik: ssi] [tid: 1fbe1700] [messageid: USER-18] [requestid: bf710010] [sessionid: bf710000] [username: kadaniel] -------------------- Sending query to database named Oracle Data Warehouse (id: <<1255810915>>), connection pool named Oracle Data Warehouse Connection Pool, logical request hash 83bf7e6f, physical request hash 336b8897: [[
]]
[2019-06-12T09:14:55.03-05:00] [OBIS] [TRACE:2] [] [] [ecid: 6ca4862b-14d1-4a7f-8158-5e6cac363144-001477ac,0:1:65:5:1] [sik: ssi] [tid: 71d8e700] [messageid: USER-18] [requestid: bf710010] [sessionid: bf710000] [username: kadaniel] -------------------- Sending query to database named Oracle Data Warehouse (id: <<1255810915>> pre query 0), connection pool named Oracle Data Warehouse Connection Pool, logical request hash 83bf7e6f, physical request hash 823a7981: 
]]
[2019-06-12T09:14:55.22-05:00] [OBIS] [TRACE:2] [] [] [ecid: 6ca4862b-14d1-4a7f-8158-5e6cac363144-001477ac,0:1:66] [sik: ssi] [tid: 1fbe1700] [messageid: USER-33] [requestid: bf710010] [sessionid: bf710000] [username: kadaniel] -------------------- Logical Query Summary Stats: Elapsed time 0.077, Total time in BI Server 0.075, Execution time 0.076, Response time 0.077, Compilation time 0.057 (seconds), logical request hash 83bf7e6f
[2019-06-12T09:14:55.343-05:00] [OBIS] [TRACE:2] [] [] [ecid: 6ca4862b-14d1-4a7f-8158-5e6cac363144-001477ac,0:1:189:3] [sik: ssi] [tid: 1fbe1700] [messageid: USER-0] [requestid: bf710020] [sessionid: bf710000] [username: kadaniel] ############################################## [[
-------------------- SQL Request, logical request hash:
8e45939b

我只想将结束时间收集到一个列表或元组中并将其附加到我的另一个列表或元组中。但是，理想情况下，我希望以 CSV 格式提取每个进程或记录(每个“requestid:{}”)的以下字段:开始时间、用户名、requestid、结束时间、逻辑请求哈希。我更喜欢 re.findall，这样日期就可以排序了。如果我在这方面得到任何帮助，这对我来说就意味着整个世界!

Answer 1

我认为您想要跟踪每个请求 ID 的第一个/最后一个时间戳:

pattern = re.compile(r'\[(\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{3}-\d{2}:\d{2})\].*\[requestid: ([a-z0-9]+)\].*\[username: (\w+)\].*$')
process_records = {}
for line in lines:
    m = pattern.match(line)
    if m is not None:
        timestamp, request_id, username = m.groups()
        if request_id not in process_records:
            process_records[request_id] = (timestamp, username, None)
        else:
            process_records[request_id] = process_records[request_id][:2] + (timestamp,)

for request_id, (start, username, end) in process_records.items():
    print("ID:{} Username:{} Start:{} End:{}".format(
        request_id,
        username,
        start,
        end,
    ))