bash - 在变量的字符串中找到一种模式后输出值/词(grep、awk、sed、pearl 等)

Question

我有一个程序可以像这样将数据打印到控制台(以空格分隔):

variable1 value1
variable2 value2
variable3 value3
varialbe4 value4

编辑:实际上输出看起来像这样:

data[variable1]: value1
pre[variable2] value2
variable3: value3
flag[variable4] value4

最后我想搜索名称的一部分，例如对于 variable2 或 variable3 但仅获取 value2 或 value3 作为输出。编辑:然后应将此单个值存储在一个变量中，以便在 bash 脚本中进行进一步处理。

我首先尝试将所有控制台输出放入一个文件并从那里处理它，例如

# value3_var="$(grep "variable3" file.log | cut -d " " -f2)"

这工作正常但太慢了。每次运行我需要处理大约 20 个这样的变量，这在我的系统上需要大约 1-2 秒。我还需要运行 ~500 次。 编辑:我实际上不需要通过一次调用自动处理所有 ~20 个“搜索”，例如哇哦。如果有一种方法可以自动执行此操作，那很好，但是 bash 脚本中的 ~20 次调用在这里也可以。

因此，我想到将控制台输出直接放入一个变量中，以消除缓慢的文件访问。但这将消除换行符，这又会使处理变得更加复杂:

# console_output=$(./programm_call)
# echo $console_output
variable1 value1 variable2 value2 variable3 value3 varialbe4 value4

编辑:它实际上看起来像这样:

# console_output=$(./programm_call)
# echo $console_output
data[variable1]: value1 pre[variable2] value2 variable3: value3 flag[variable4] value4

我找到了这种字符串排列的解决方案，但这些似乎只适用于文本文件。至少我无法在这些示例中使用存储在 $console_output 中的字符串

How to print the next word after a found pattern with grep,sed and awk?

那么，当提供(长)字符串作为变量时，如何输出找到的模式后的下一个单词？

PS:我系统上的 grep 不知道参数 -P...

Answer 1

我建议使用 awk:

$ cat ip.txt
data[variable1]: value1
pre[variable2] value2
variable3: value3
flag[variable4] value4

$ cat var_list
variable1
variable3

$ awk 'NR==FNR{a[$1]; next}
       {for(k in a) if(index($1, k)) print $2}' var_list ip.txt 
value1
value3

要将另一个命令的输出用作输入文件，请使用 ./programm_call | awk '...' var_list - 其中 - 将指示 stdin 作为输入。

This single value should then be stored in a variable for further processing within the bash script.

如果您正在进行进一步的文本处理，您可以在 awk 中进行，从而避免可能较慢的 bash 循环。参见 Why is using a shell loop to process text considered bad practice?了解详情。

加速建议:

• 如果输入是 ASCII，则使用 LC_ALL=C awk '..'(请注意，正如评论中指出的那样，这并不适用于所有情况，因此您必须对其进行测试你的用例)
• 如果可用，请使用 mawk，这通常更快。 GNU awk 在某些情况下可能仍然更快，因此您必须再次针对您的用例对其进行测试
• 使用ripgrep ，通常比其他 grep 程序更快。

$ ./programm_call | rg -No -m1 'variable1\S*\s+(\S+)' -r '$1'
value1
$ ./programm_call | rg -No -m1 'variable3\S*\s+(\S+)' -r '$1'
value3

此处，-o 选项用于仅获取匹配的部分。 -r 用于通过将匹配部分替换为捕获组中的值来仅获取所需的文本。 -m1 选项用于在找到第一个匹配项后停止搜索输入。 -N 用于禁用行号前缀。