shell - 使用awk和parallel一次处理多个文件

Question

我有一百多个部分 .csv 文件，其中包含由“|”分隔的数据。我需要使用 awk 和并行在每个零件文件的第二列上添加前缀。
我一次只做一个文件，但需要几个小时。所以想用并行。
输入1.csv
10|20
10|30
10|40
输入2.csv
20|30
20|40
第 1|10 行
预期产出
输入1.csv
10|P20
10|P30
10|P40
输入2.csv
20|P30
20|P40
第1行|P10
我正在使用它，并且在一次处理一个文件时工作，但我需要更快的东西来使用并行处理多个文件
awk 'BEGIN{FS=OFS="|"} {$2 = "P"$2} 1' input1.csv > in.tmp && mv in.tmp input1.csv
awk 'BEGIN{FS=OFS="|"} {$2 = "P"$2} 1' input2.csv > in.tmp && mv in.tmp input2.csv
end 最后将所有 input*.csv 文件合并到 input 中

Answer 1

这对我有用

parallel "awk -F'|' '{print \$1\"|\"\"PO\"\$2}' {} > {}.tmp; mv {}.tmp {}" ::: input*.csv