linux - AWK 根据两个条件去除重复行-6ren

linux - AWK 根据两个条件去除重复行

转载作者：太空狗更新时间：2023-10-29 12:14:00

25

4

我正在尝试根据第二个字段的值删除重复项。应保留第二个字段的较低值，应删除任何具有重复的第一个字段和较高的第二个字段的行。

这是我的原始数据的一个例子:

1234     2     ABCD
3234     1     DEFG
1234     1     DEFG

它应该是这样的:

1234     1   DEFG
3234     1   DEFG

到目前为止，基于this post :我想出了这个脚本:

awk '{
    if($1 in a){
        if($2 < a[$1]){
            a[$1]= $2;
            r[$1]=$0;
        } else {
            a[$1]=$2;
            r[$1]=$0;
        }
    }
} end {for(x in r) print r[x]}'

但是没有返回任何结果。

我仍在学习如何使用 awk，尤其是关联数组。

欢迎任何帮助。提前致谢!

最佳答案

你可以使用这个 awk:

awk '!($1 in a) || $2 < a[$1] {a[$1]=$2; r[$1]=$0} END {for (i in r) print r[i]}' file
1234     1     DEFG
3234     1     DEFG

关于linux - AWK 根据两个条件去除重复行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32124270/

25

4

0

文章推荐： Linux多线程，暂停一个线程，同时继续运行同一进程中的其他线程

文章推荐： linux - AWS EC2 : How to remount previous EBS volume using pivot_root?

文章推荐： java - 如何避免在 Jsoup 解析中包围 html head 标签

文章推荐： CSS - Internet Explorer 和

标签背景

awk - 从 awk 文件执行另一个 awk
是否可以从 awk 文件执行另一个 awk 文件？使用 awk 文件我需要执行当前文件夹中的所有 awk 文件。是否可以在 awk 中进行此类操作？最佳答案是的你可以。您需要使用 system()
awk - 为什么 awk "not in"数组像 awk "in"数组一样工作？
这是一个 awk 脚本，它尝试根据第一列设置两个文件的差异: BEGIN{ OFS=FS="\t" file = ARGV[1] while (getline < file)
awk - awk 中的并行处理？
awk 逐行处理文件。假设每一行操作不依赖于其他行，有没有办法让 awk 一次并行处理多行？是否有任何其他文本处理工具可以自动利用并行性并更快地处理数据？最佳答案唯一试图提供 awk 并行实现的
awk - awk 中的两个文件处理
我有文件: 结果.txt Apple fruits 10 20 30 Car vehicle 40 50 60 Book study 70 80 90 假设这里第 2 列是特征，第 3 列是最小值
awk - awk 中的小窍门
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
awk - awk 中的浮点计算
我对 awk 的行为感到惊讶表演时浮点数计算。它导致我对表格数据进行错误计算。 $ awk 'BEGIN {print 2.3/0.1}' 23 0.1}' )。那么我应该如何执行大于 (
awk - awk 输出中的额外空间
为什么我在下面的例子中得到分隔符前后的空格？ awk -F'^' '{print $1,":",$2}' SERVER_2012-02-29-12-15-00 3969 : 1272 3969 :
awk - Awk:如何每四行替换一个字符串？
我有一个文件，其中每四行是这样的： HISEQ15:454:D27KKACXX:6:2316:16241:100283 1:N:0:GTTTCG （对于那些感兴趣的人，此文件包含DNA序列）我需
awk - 合并系列并识别它的结尾 - AWK
你能帮我按 $2 列中的坐标合并行吗？有一系列坐标以一个为单位增长。我想输出 f.e. :第 1 行合并到第 4 行 9079811-9079814，之后没有系列，因此将其合并到另一行等。对于输入中的
awk - awk 是二维数组还是类似于存储值的东西？
大家好，我是 awk 的新手，我可以问一下我有这样的输入文件吗: # ABC DEFG value1 GH value2 GH value3 GH # BCF SQW value4 GH value5
awk - awk 中括号的位置
大家好，我想问一下，我对awk中的括号{}感到非常困惑，就像我写了一段代码 { FNR == 3 { print $1 " age is " $2 } } 但它在外括号上给了我错误但没有在打印语
awk - awk 中的多行注释
我想知道如何在 awk 中使用多行注释。到目前为止，我一直在使用 # 来评论一行。有人可以就此指导我。谢谢你。最佳答案 AWK 中没有多行注释，但如果需要，您可以伪造它。这是一种至少适用于 GNU
awk - AWK AND运算子
关于AND逻辑运算符的一个基本问题。我试图根据第1列和第2列的值提取数据文件niveles.csv中的某些字段。我想写一个awk语句，说“当field1 = date和field2 = area然后打
awk - AWK 中的忽略大小写
以下命令按预期工作。 # some command | awk '/(\|\|\)/,/;/' create table todel1 (id int) max_rows=2 /*!*/; alter
awk - awk 中连接字符串
我有一个日志文件，需要在服务器上“重播”。它包含这样的条目: Request: query: EXEC prc_insert_customer @param0: 11
awk - awk 中的制表符分隔值
如何从制表符分隔的字符串中选择第一列？ # echo "LOAD_SETTLED LOAD_INIT 2011-01-13 03:50:01" | awk -F'\t' '{prin
awk - awk 如何将文件名作为输出中的一列？
我正在尝试在目录中的多个文件的内容中执行一些 grep 并将我的 grep 匹配附加到单个文件中，在我的输出中我还想要一个包含文件名的列，以了解哪些文件条目已被拾取。我试图使用 awk 来实现相同的目
awk - awk 中的绝对值不起作用？
我想选择文件中第9列的绝对值小于500的行。列有时为正，有时为负。 awk -F'\t' '{ if ($9 output.bam 到目前为止这不起作用..互联网上的一轮告诉我，要使用绝对值，我们应
awk - awk 的第一个和第二个输入文件是否可能有不同的行为？
例如，假设我运行以下命令: gawk -f AppendMapping.awk Reference.tsv TrueInput.tsv 假设文件名会改变。在遍历第一个文件时，我想创建一个映射。 map
awk - 尝试将转义字符作为变量传递给 awk
我正在使用这个命令； awk -v regex1='new[[:blank:]]+File\(' 'BEGIN{print "Regex1 =", regex1}' 这警告我； awk: warnin

首页

博学

6Ren·AI

商城

linux - AWK 根据两个条件去除重复行