regex - 使用 sed 或脚本解析、重新格式化日志文件？

Question

我有一个案例，一个需要后处理的文件。示例格式如下:-

bigspeedpro.com Intel::DOMAIN   from http://malc0de.com/bl/BOOT via intel.criticalstack.com     F
1.1.1.1 Intel::DOMAIN   from http://abcd.com/bl/BOOT via intel.criticalstack.com     F

预期输出是:--

1.1.1.1 abcd

解析如下:-

• 任何不以 IP 地址开头的内容都请删除该行

• 如果以 IP 地址开头

  • 删除 Intel::DOMAIN
  • 在 之间从 到 F 根据以下字符串出现情况替换它
  • 例如 malc0de 或 abcd

我想使用 sed，但我不知道 sed 是否可用于匹配多个字符串，例如 malc0de 或 abc，也许我需要一个更完整的脚本，然后只是在数组中存储字符串值。任何想法？顺便说一句，使用 sed 的示例最受欢迎。

到目前为止

• 我知道在 sed 中使用 d 我可以删除该行并将输出重定向到文件
• 我知道如何匹配非 IP 地址的正则表达式 [^a-zA-Z]
• 我陷入了基于多项选择或字符串的替换

\#!/bin/bash          
sed -i s/\[a-zA-Z]\/d test ./infile > testme.txt
sed -i s/\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}/s+\Intel::DOMAIN\\s*from(.*?)\s+F\1malc0de

或者我正在考虑像 ARRAY=(malc0de abcd) 这样保存

然后我可以做 ${ARRAY[2]} 代替捕获组，它会起作用吗？或者我可以做一些事情，比如在 from 和 F 之间进行 .net 子字符串匹配，我将结果复制到字符串变量中。然后搜索我的字符串，例如 malc0de 如果找到用匹配的结果替换搜索到的模式？但我不知道bash...

更新有了 awk 脚本，我就干净了

1.1.1.1 www.abc.com
1.1.2.2 def.com
2.2.2.2 mnx.dbc.net

但是，我希望将 IP 地址之后的第二列缩短为我自己选择的字符串，例如在第二列中我只接受

abc def mnx

一旦发现只需将整个字符串替换为

1.1.1.1 abc
1.1.2.2 def
2.2.2.2 mnx

谢谢。

Answer 1

您提到 sed 解决方案最受欢迎，但我相信 awk 对于您的特定任务来说最容易使用。这是我的解决方案:

awk '/^[[:digit:]]\.[[:digit:]]\.[[:digit:]]\.[[:digit:]]/ { printf $1; gsub (/http\:\/\//," "); gsub(/\.com/," ");printf " "$4"\n"  }' inputFile.txt

这个想法很简单:默认情况下，awk 的字段分隔符是空格，并允许打印特定字段，因此首先我们匹配以 ip 地址开头的行(四位数字点交替模式)；我们打印第一个字段，然后去掉 https 和 .com 部分，域名是唯一剩下的，因此变成了文件 4，我们接下来打印它。其余部分未指定打印，因此被忽略。

如果您想要编辑原始文件，awk 有一个怪癖，它无法进行内联编辑，除非是 gawk (GNU awk)，因此请使用临时文件来实现此目的。

演示:

我的输入文件

xieerqi:$ cat inputFile.txt                                               
bigspeedpro.com Intel::DOMAIN   from http://malc0de.com/bl/BOOT via intel.criticalstack.com     F
1.1.1.1 Intel::DOMAIN   from http://abcd.com/bl/BOOT via intel.criticalstack.com     F

whatever.com Intel::DOMAIN   from http://malc0de.com/bl/BOOT via intel.criticalstack.com     F
2.2.2.2 Intel::DOMAIN   from http://asdf.com/bl/BOOT via intel.criticalstack.com     F

带有临时文件传输的命令(注意我的 inputFile.txt 位于我的主目录中，相应地调整该部分)。注意:始终备份原始文件以防万一!或者在 && 之前运行命令的第一部分，检查临时文件，如果您喜欢，请将文件添加到原始文件中。

awk '/^[[:digit:]]\.[[:digit:]]\.[[:digit:]]\.[[:digit:]]/ { printf $1; gsub (/http\:\/\//," "); gsub(/\.com/," ");printf " "$4"\n"  }' inputFile.txt > /tmp/temp.txt && cat /tmp/temp.txt > $HOME/inputFile.txt

命令运行后的输出:

xieerqi:$ awk '/^[[:digit:]]\.[[:digit:]]\.[[:digit:]]\.[[:digit:]]/ { printf $1; gsub (/http\:\/\//," "); gsub(/\.com/," ");printf " "$4"\n"  }' inputFile.txt > /tmp/temp.txt && cat /tmp/temp.txt > $HOME/inputFile.txt


xieerqi:$ cat inputFile.txt                                                                                                                           
1.1.1.1 abcd
2.2.2.2 asdf

通过脚本进行简化

可以将上述命令放入包含以下内容的脚本中:

#!/usr/bin/awk -f

/^[[:digit:]]*\.[[:digit:]]*\.[[:digit:]]*\.[[:digit:]]*/ { 
printf $1; 

gsub (/http\:\/\//," "); 
gsub (/https\:\/\//," "); 
gsub(/\.com/," ");
printf " "$4"\n";
}

请注意，在脚本中，我考虑了 IP 地址中包含多个数字的可能性以及地址中包含 https 的可能性。

记住使用chmod 755/path/to/script使脚本可执行

这是演示:

xieerqi:$ chmod 755 ipanddomain.awk                                                                                                                   

xieerqi:$ cat inputFile.txt                                                                                                                           
bigspeedpro.com Intel::DOMAIN   from http://malc0de.com/bl/BOOT via intel.criticalstack.com     F
1.1.1.1 Intel::DOMAIN   from http://abcd.com/bl/BOOT via intel.criticalstack.com     F

whatever.com Intel::DOMAIN   from http://malc0de.com/bl/BOOT via intel.criticalstack.com     F
192.168.0.2 Intel::DOMAIN   from https://asdf.foobar.whatever.com/bl/BOOT via intel.criticalstack.com     F

xieerqi:$ ./ipanddomain.awk inputFile.txt                                                                                                             
1.1.1.1 abcd
192.168.0.2 asdf.foobar.whatever

要编辑原始文件，请使用重定向到临时文件并返回原始文件的技巧，就像我之前向您展示的那样

编辑#2

所以您问:可以简单地匹配您已经知道的部分域名并打印出来。我稍微编辑了我的脚本。基本上，这个版本在 $4 字段中查找模式，如果找到它，它会显示“好的，该字符串中有 abcd，所以我将打印它”

#!/usr/bin/gawk -f

/^[[:digit:]]*\.[[:digit:]]*\.[[:digit:]]*\.[[:digit:]]*/ { 
printf $1" ";
matchDomain($4);
}

function matchDomain(str){

if (str~/foobar/)
 printf "foobar\n";
if(str~/abcd/)
 printf "abcd\n"

}