multithreading - 如何使sed与多行模式匹配

Question

背景

我经常使用sed跟踪以符合特定模式的行开头的日志。我使用以下命令:

sed -ne '/pattern/ p' infile >outfile

在代码中，我只是在日志行之前添加了标识符，以便以后可以使用它们进行过滤(我的标识符是订单号和线程号..例如，下面的日志行:

9/14/2017 10:19:58 AM:::   ORD7123::TH41361::Failed Checkout

是用于订单7123线程41361的。因此，上面的sed命令(如果我正在过滤与订单 7123有关的所有日志)将类似于:

sed -ne '/ORD7123/ p' infile >outfile

问题

当单个订单/线程组合的日志跨多行时发生问题，如下所示:

9/14/2017 10:19:58 AM:::   ORD7123::TH41361::Failed Checking Out With Credit Card for # 3 times. Error: {
  "order": "country is required",
  "credit_card": "year is not a valid year"
}.
9/14/2017 10:19:59 AM:::   ORD7123::TH41347::Successfully Got a something Solution  

使用上面的sed命令，我的输出将如下所示

9/14/2017 10:19:58 AM:::   ORD7123::TH41361::Failed Checking Out With Credit Card for # 3 times. Error: {
9/14/2017 10:19:59 AM:::   ORD7123::TH41347::Successfully Got a something Solution

建议/分析

我们以前曾遇到过这个问题(我们可以控制日志的创建)，而处理它的方法是用 /n或类似的东西替换新行。在这种情况下，我对日志的创建没有太多控制权，因此我必须按原样处理日志

Answer 1

awk应该能够处理这种操作，使其能够像 logstash 一样工作，并在多行上收集日志消息。查看您的示例，您似乎想要捕获跨越多行的{ ... }之间的文本。因此，您可以使用以下链接:

awk '/ORD7123/{if (/{$/) p=1; print; next} p; p && /^}/{p=0}' file.log

如果您并不总是像示例日志中所示那样拥有 { ... }，那么可以使用此 awk命令:

awk '/ORD7123/ {p=NR} NR==p+1 {p = (/^[0-9]{1,2}\/[0-9]{1,2}\/[0-9]{4} / ? 0 : NR)} p' file

9/14/2017 10:19:58 AM:::   ORD7123::TH41361::Failed Checking Out With Credit Card for # 3 times. Error: {
  "order": "country is required",
  "credit_card": "year is not a valid year"
}.
9/14/2017 10:19:59 AM:::   ORD7123::TH41347::Successfully Got a something Solution

此 awk命令在每个日志行中查找开始日期模式，如果找不到，则将其视为先前日志消息的继续。