gpt4 book ai didi

linux - grep 唯一出现

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:01:03 25 4
gpt4 key购买 nike

我有一个日志文件 (file.log),文件中多次出现 id,即 82244956file.log 已使用以下命令创建:

gzip -cd /opt/log.gz | grep "JBOSS1-1" >> ~/file.log

示例:

2012-04-10 09:01:18,196 LOG  (7ysdhsdjfhsdhjkwe:IN) JBOSS1-1 (RP-yedgdh5567) [PayPalWeb] Fetch data with id: 82244956  
2012-04-10 09:02:18,196 LOG (24343sdjjkidgyuwe:IN) JBOSS1-1 (RP-yedgdh5567) [PayPalWeb] Fetch data with id: 82244956
2012-04-10 09:03:18,196 LOG (6744443jfhsdgyuwe:IN) JBOSS1-1 (RP-yedgdh5567) [PayPalWeb] Fetch data with id: 82244957
2012-04-10 09:04:18,196 LOG (7ysdhsd5677dgyuwe:IN) JBOSS1-1 (RP-yedgdh5567) [PayPalWeb] Fetch data with id: 82244957

同样,我们有 10000 行具有不同的 ID(但每个 ID 重复 2-3 次。示例中顶部和底部 2 行分别重复 ID 82244956 和 82244957)。我们需要基于唯一 ID 的结果集(来自匹配 ID 的任何行)即:

2012-04-10 09:01:18,196 LOG  (7ysdhsdjfhsdhjkwe:IN) JBOSS1-1 (RP-yedgdh5567) [PayPalWeb] Fetch data with id: 82244956  
2012-04-10 09:03:18,196 LOG (6744443jfhsdgyuwe:IN) JBOSS1-1 (RP-yedgdh5567) [PayPalWeb] Fetch data with id: 82244957

我尝试在 Linux 上运行 awk 程序,但没有成功:

awk ' { arr[$1]=$0 } END { for ( key in arr ) { print arr[key] } } ' file.log >> final-report.log

或者更好的方法是创建仅具有不同 ID 的 file.log

请告知如何修改它?

最佳答案

$1 是第一个字段,日期。 id 是最后一个字段,用 awk 的说法是 $NF。所以:

awk '{arr[$NF] = $0} END { for (key in arr) { print arr[key] } }' file.log >> final-report.log

这将保留给定键的最后一条记录。要保留第一条记录,您必须在脚本的主要处理部分进行条件赋值。

关于linux - grep 唯一出现,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10222937/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com