- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个非常大的文本文件(即今天的 40 GB),我想过滤出唯一的行而不对文件进行排序。
文件有 unix 行结尾,所有内容匹配 [[:print:]]
。我尝试了以下 awk 脚本来仅显示唯一的行:
awk 'a[$0] {next} 1' stupid.txt > less_stupid.txt
我的想法是通过引用其元素来填充一个数组,使用文件的内容作为键,然后跳过数组中已有的行。但这失败有两个原因——首先,因为它莫名其妙地不起作用(即使在小测试文件上),其次,因为我知道我的系统将在整组唯一行加载到内存之前耗尽内存通过 awk。
经过搜索,我找到了this answer推荐:
awk '!x[$0]++'
虽然这适用于小文件,但它也会在读取整个文件之前耗尽内存。
什么是更好(即有效)的解决方案?我对几乎所有事情都持开放态度,尽管我更偏向于使用我知道的语言(bash 和 awk,因此是标签)的解决方案。在尝试将问题可视化时,我想出的最好办法是存储一组行校验和或 MD5,而不是行本身,但这只会节省一点空间并冒着校验和冲突的风险。
任何提示都将非常受欢迎。告诉我这是不可能的也很受欢迎,这样我就不再试图弄清楚了。 :-P
最佳答案
awk '!x[$0]++'
技巧是最优雅的解决方案之一,无需排序即可删除重复文件或流。但是,它在内存方面效率低下并且不适合大文件,因为它将所有唯一行保存到内存中。
但是,更有效的实现方式是在数组中保存行的恒定长度 散列 表示而不是整行。您可以使用 Perl
在一行中实现这一点,它与 awk
脚本非常相似。
perl -ne 'use Digest::MD5 qw(md5_base64); print unless $seen{md5_base64($_)}++' huge.txt
这里我使用了 md5_base64
而不是 md5_hex
因为 base64 编码需要 22 个字节,而十六进制表示为 32。
但是,由于 hashes
的 Perl 实现仍然需要每个键大约 120 字节,您可能会很快用完您的大文件的内存。
这种情况下的解决方案是分块处理文件,手动拆分或使用 GNU Parallel使用 --pipe、--keep-order 和 --block 选项(正如您提到的那样,利用重复行相距不远的事实)。以下是如何使用 parallel
实现它:
cat huge.txt | pv |
parallel --pipe --keep-order --block 100M -j4 -q \
perl -ne 'use Digest::MD5 qw(md5_base64); print unless $seen{md5_base64($_)}++' > uniq.txt
--block 100M
选项告诉 parallel 以 100MB 的 block 来处理输入。 -j4
表示并行启动 4 个进程。这里的一个重要论点是 --keep-order
因为您希望唯一的行输出保持相同的顺序。我在管道中包含了 pv
,以便在执行长时间运行的进程时获得一些不错的统计数据。
在我对随机数据 1GB 文件执行的基准测试中,我使用上述设置达到了 130MB/秒的吞吐量,这意味着您可以在 4 分钟内删除 40GB 文件的重复数据(如果您有足够快的硬盘能够以这种速度写作)。
其他选项包括:
这是使用 Bloom::Faster 的示例Perl 模块:
perl -e 'use Bloom::Faster; my $f = new Bloom::Faster({n => 100000000, e => 0.00001}); while(<>) { print unless $f->add($_); }' huge.txt > uniq.txt
您可以从cran
安装Bloom::Faster
(sudo cran
然后安装“Bloom::Faster”
)
解释:
e
和可用桶的数量 n
。每个桶所需的内存约为 2.5 字节。如果您的文件有 1 亿行,那么您将需要 1 亿个桶和大约 260MB 的内存。$f->add($_)
函数将一行的散列添加到过滤器中,如果键(即此处的行)是,则返回 true
一个副本。dd if=huge.txt bs=400M count=1 | 解析文件的一小部分 | awk '!a[$0]++' | wc -l
(400MB) 并将该数字乘以 100 (40GB)。然后将 n
选项设置得更高一些以确保安全。 在我的基准测试中,这种方法达到了 6MB/s 的处理速率。您可以将此方法与上面的 GNU parallel
建议结合使用,以利用多个内核并实现更高的吞吐量。
关于bash - `uniq` 没有对巨大的文本文件进行排序?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30906191/
我正在尝试对每个条目有多个值的关联数组进行排序。 例如 [0] => stdClass Object ( [type] => node [sid] => 158 [score] => 0.059600
我在 mysql 中有“日期”列以这种格式保存日期 2014 年 9 月 17 日(日-月-年) 我需要对它们进行升序排序,所以我使用了这个命令: SELECT * FROM table ORDER
我目前正在将 MySQL 存储过程重写为 MS SQL 存储过程,但遇到了问题。 在 MySQL 存储过程中,有一个游标,它根据最近的日期 (effdate) 选择一个值并将其放入变量 (thestt
我想要 gwt r.QuestionId- 排序。但是我得到未排序的 QuestionId 尽管我提到了 QuestionId ASC 的顺序。 SELECT r.QuestionId,
我有一个关于在 scandir 函数中排序的基本问题。到目前为止,我阅读了 POSIX readdir 的手册页,但没有找到有关订购保证的具体信息。 但是当我遍历大目录(无法更改,只读)时,我在多个系
基本上我必须从 SQL 数据库中构建项目列表,但是用户可以选择对 7 个过滤器的任意组合进行过滤,也可以选择要排序的列以及按方向排序。 正如您可以想象的那样,这会以大量不同的组合进行编码,并且数据集非
我有两张 table 。想象第一个是一个目录,包含很多文件(第二个表)。 第二个表(文件)包含修改日期。 现在,我想选择所有目录并按修改日期 ASC 对它们进行排序(因此,最新的修改最上面)。我不想显
我想先根据用户的状态然后根据用户名来排序我的 sql 请求。该状态由 user_type 列设置: 1=活跃,2=不活跃,3=创始人。 我会使用此请求来执行此操作,但它不起作用,因为我想在“活跃”成员
在 C++ 中,我必须实现一个“类似 Excel/Access”(引用)的查询生成器,以允许对数据集进行自定义排序。如果您在 Excel 中使用查询构建器或 SQL 中的“ORDER BY a, b,
我面临这样的挑战: 检索按字段 A 排序的文档 如果字段 B 存在/不为空 . 否则 按字段排序 C. 在 SQL 世界中,我会做两个查询并创建一个 UNION SELECT,但我不知道如何从 Mon
我想对源列表执行以下操作: map 列表 排序 折叠 排序 展开 列表 其中一些方法(例如map和toList)是可链接的,因为它们返回非空对象。但是,sort 方法返回 void,因为它对 List
我制作了一个用于分析 Windows 日志消息编号的脚本。 uniq -c 数字的输出很难预测,因为根据数字的大小会有不同的空白。此时,我手动删除了空白。 这是对消息进行排序和计数的命令: cat n
我有以下词典: mydict1 = {1: 11, 2: 4, 5: 1, 6: 1} mydict2 = {1: 1, 5: 1} 对于它们中的每一个,我想首先按值(降序)排序,然后按键(升序)排序
我刚刚开始使用泛型,目前在对多个字段进行排序时遇到问题。 案例: 我有一个 PeopleList 作为 TObjectList我希望能够通过一次选择一个排序字段,但尽可能保留以前的排序来制作类似 Ex
有没有办法在 sql 中组合 ORDER BY 和 IS NULL 以便我可以在列不为空时按列排序,但如果它为null,按另一列排序? 最佳答案 类似于: ORDER BY CASE WHEN
我有一个包含 2 列“id”和“name”的表。 id 是常规的自动增量索引,name 只是 varchar。 id name 1 john 2 mary 3 pop 4 mary 5 j
场景 网站页面有一个带有分页、过滤、排序功能的表格 View 。 表中的数据是从REST API服务器获取的,数据包含数百万条记录。 数据库 REST API 服务器 Web 服务器 浏览器 问
假设我有一本字典,其中的键(单词)和值(分数)如下: GOD 8 DONG 16 DOG 8 XI 21 我想创建一个字典键(单词)的 NSArray,首先按分数排序,然后按字
如何在 sphinx 上通过 sql 命令选择前 20 行按标题 WEIGHT 排序,接下来 20 行按标题 ASC 排序(总共 40 个结果),但不要给出重复的标题输出。 我尝试了这个 sql 命令
我有一个奇怪的问题,当从 SQLite 数据库中选择信息并根据日期排序时,返回的结果无效。 我的SQL语句是这样的: Select pk from usersDates order by dateti
我是一名优秀的程序员,十分优秀!