bash - 如何使用awk删除重复的逗号分隔字符串-6ren

bash - 如何使用awk删除重复的逗号分隔字符串

转载作者：行者123 更新时间：2023-11-29 09:37:59

33

4

我有一个这样的 csv 文件:(名为 test2.csv)

lastname,firstname,83494989,1997-05-20,2015-05-07 15:30:43,Sentence Skills 104,Sentence Skills 104,Elementary Algebra 38,Elementary Algebra 38,Sentence Skills 104,Sentence Skills 104,Elementary Algebra 38,Elementary Algebra 38,

我想删除重复的条目

我得到的最接近的是以下 awk 命令

awk '{a[$0]++} END {for (i in a) print RS i}' RS="," test2.csv

它有效但会导致新问题，它会打乱值的顺序并将它们放在这样的行中:

,Elementary Algebra 38
,2015-05-07 15:30:43
,Sentence Skills 104
,FirstName
,LastName
,1997-05-20
,83494989

我需要保持它们的顺序并保持在一行中(我可以解决行问题，但不知道如何解决顺序问题)

更新解决方案:

anubhava 的回答非常有效，我添加了一个关于从日期中删除时间的问题，Ed Morton 帮助解决了这个问题，这是完整的查询

awk 'BEGIN{RS=ORS=","} {sub(/ ..:..:..$/,"")} !seen[$0]++' test2.csv

最佳答案

你可以只使用这个 awk:

awk 'BEGIN{RS=ORS=","} !seen[$0]++' test2.csv
lastname,firstname,83494989,1997-05-20,2015-05-07 15:30:43,Sentence Skills 104,Elementary Algebra 38,

关于bash - 如何使用awk删除重复的逗号分隔字符串，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30742556/

33

4

0

文章推荐： php - 在远程网页上使用我的服务器中的图像

文章推荐： bash - "echo"和 "echo -n"有什么区别？

awk - 从 awk 文件执行另一个 awk
是否可以从 awk 文件执行另一个 awk 文件？使用 awk 文件我需要执行当前文件夹中的所有 awk 文件。是否可以在 awk 中进行此类操作？最佳答案是的你可以。您需要使用 system()
awk - 为什么 awk "not in"数组像 awk "in"数组一样工作？
这是一个 awk 脚本，它尝试根据第一列设置两个文件的差异: BEGIN{ OFS=FS="\t" file = ARGV[1] while (getline < file)
awk - awk 中的并行处理？
awk 逐行处理文件。假设每一行操作不依赖于其他行，有没有办法让 awk 一次并行处理多行？是否有任何其他文本处理工具可以自动利用并行性并更快地处理数据？最佳答案唯一试图提供 awk 并行实现的
awk - awk 中的两个文件处理
我有文件: 结果.txt Apple fruits 10 20 30 Car vehicle 40 50 60 Book study 70 80 90 假设这里第 2 列是特征，第 3 列是最小值
awk - awk 中的小窍门
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
awk - awk 中的浮点计算
我对 awk 的行为感到惊讶表演时浮点数计算。它导致我对表格数据进行错误计算。 $ awk 'BEGIN {print 2.3/0.1}' 23 0.1}' )。那么我应该如何执行大于 (
awk - awk 输出中的额外空间
为什么我在下面的例子中得到分隔符前后的空格？ awk -F'^' '{print $1,":",$2}' SERVER_2012-02-29-12-15-00 3969 : 1272 3969 :
awk - Awk:如何每四行替换一个字符串？
我有一个文件，其中每四行是这样的： HISEQ15:454:D27KKACXX:6:2316:16241:100283 1:N:0:GTTTCG （对于那些感兴趣的人，此文件包含DNA序列）我需
awk - 合并系列并识别它的结尾 - AWK
你能帮我按 $2 列中的坐标合并行吗？有一系列坐标以一个为单位增长。我想输出 f.e. :第 1 行合并到第 4 行 9079811-9079814，之后没有系列，因此将其合并到另一行等。对于输入中的
awk - awk 是二维数组还是类似于存储值的东西？
大家好，我是 awk 的新手，我可以问一下我有这样的输入文件吗: # ABC DEFG value1 GH value2 GH value3 GH # BCF SQW value4 GH value5
awk - awk 中括号的位置
大家好，我想问一下，我对awk中的括号{}感到非常困惑，就像我写了一段代码 { FNR == 3 { print $1 " age is " $2 } } 但它在外括号上给了我错误但没有在打印语
awk - awk 中的多行注释
我想知道如何在 awk 中使用多行注释。到目前为止，我一直在使用 # 来评论一行。有人可以就此指导我。谢谢你。最佳答案 AWK 中没有多行注释，但如果需要，您可以伪造它。这是一种至少适用于 GNU
awk - AWK AND运算子
关于AND逻辑运算符的一个基本问题。我试图根据第1列和第2列的值提取数据文件niveles.csv中的某些字段。我想写一个awk语句，说“当field1 = date和field2 = area然后打
awk - AWK 中的忽略大小写
以下命令按预期工作。 # some command | awk '/(\|\|\)/,/;/' create table todel1 (id int) max_rows=2 /*!*/; alter
awk - awk 中连接字符串
我有一个日志文件，需要在服务器上“重播”。它包含这样的条目: Request: query: EXEC prc_insert_customer @param0: 11
awk - awk 中的制表符分隔值
如何从制表符分隔的字符串中选择第一列？ # echo "LOAD_SETTLED LOAD_INIT 2011-01-13 03:50:01" | awk -F'\t' '{prin
awk - awk 如何将文件名作为输出中的一列？
我正在尝试在目录中的多个文件的内容中执行一些 grep 并将我的 grep 匹配附加到单个文件中，在我的输出中我还想要一个包含文件名的列，以了解哪些文件条目已被拾取。我试图使用 awk 来实现相同的目
awk - awk 中的绝对值不起作用？
我想选择文件中第9列的绝对值小于500的行。列有时为正，有时为负。 awk -F'\t' '{ if ($9 output.bam 到目前为止这不起作用..互联网上的一轮告诉我，要使用绝对值，我们应
awk - awk 的第一个和第二个输入文件是否可能有不同的行为？
例如，假设我运行以下命令: gawk -f AppendMapping.awk Reference.tsv TrueInput.tsv 假设文件名会改变。在遍历第一个文件时，我想创建一个映射。 map
awk - 尝试将转义字符作为变量传递给 awk
我正在使用这个命令； awk -v regex1='new[[:blank:]]+File\(' 'BEGIN{print "Regex1 =", regex1}' 这警告我； awk: warnin

首页

博学

6Ren·AI

商城

bash - 如何使用awk删除重复的逗号分隔字符串