- r - 以节省内存的方式增长 data.frame
- ruby-on-rails - ruby/ruby on rails 内存泄漏检测
- android - 无法解析导入android.support.v7.app
- UNIX 域套接字与共享内存(映射文件)
这个问题在 StackOverflow 上经常出现,但我已经阅读了所有以前的相关答案,并且对这个问题有轻微的扭曲。
我有一个 23Gb 的文件,其中包含 4.75 亿行大小相等的行,每行由一个 40 个字符的哈希码和一个标识符(一个整数)组成。
我有一个传入的哈希码流 - 总共有数十亿个 - 对于每个传入的哈希码,我需要找到它并打印出相应的标识符。这项工作虽然很大,但只需要完成一次。
文件太大,我无法读入内存,所以我一直在尝试通过以下方式使用 emmap:
codes = (char *) mmap(0,statbuf.st_size,PROT_READ,MAP_SHARED,codefile,0);
然后我只是根据代码中的地址使用地址算法进行二进制搜索。
这似乎开始漂亮地工作并在几秒钟内生成几百万个标识符,使用 100% 的 cpu,但在一些看似随机的时间之后它会减慢到爬行。当我使用 ps 查看进程时,它已从使用 100% cpu 的状态“R”变为使用 1% cpu 的状态“D”(磁盘绑定(bind))。
这是不可重复的 - 我可以对相同的数据再次启动该过程,并且它可能会运行 5 秒或 10 秒,然后才会出现“缓慢爬行”。昨晚有一次,在这件事发生之前我有将近一分钟的时间。
一切都是只读的,我没有尝试对文件进行任何写入,并且我已经停止了机器上的所有其他进程(我控制的)。它是现代 Red Hat Enterprise Linux 64 位机器。
有谁知道为什么进程会受磁盘限制以及如何停止它?
更新:
感谢大家的回答和您的想法;我以前没有尝试过所有各种改进,因为我想知道我是否以某种方式错误地使用了 mmap。但答案的要点似乎是,除非我能把所有东西都塞进内存里,否则我将不可避免地遇到问题。因此,我将哈希码的大小压缩为不会创建任何重复项的前导前缀的大小——前 15 个字符就足够了。然后我将生成的文件拉入内存,并分批运行传入的哈希码,每批约 20 亿个。
最佳答案
首先要做的是拆分文件。
用散列码制作一个文件,用整数 ID 制作另一个文件。由于行相同,因此在找到结果后它会很好地排列。您也可以尝试一种将每个第 n 个哈希值放入另一个文件然后存储索引的方法。
例如,每第 1000 个散列键与索引一起放入一个新文件中,然后将其加载到内存中。然后二进制扫描它。这将告诉您需要在文件中进一步扫描的 1000 个条目的范围。是的,那会很好!但可能远不止于此。大概每 20 条记录就会将文件大小除以 20 + - 如果我觉得不错的话。
换句话说,扫描后您只需要触摸磁盘上几千字节的文件。
另一种选择是将文件拆分并放在多台机器的内存中。然后只需二进制扫描每个文件。这将在零磁盘访问的情况下产生绝对最快的搜索...
关于c - C 中大磁盘文件的二进制搜索 - 问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14866882/
今天我在一个 Java 应用程序中看到了几种不同的加载文件的方法。 文件:/ 文件:// 文件:/// 这三个 URL 开头有什么区别?使用它们的首选方式是什么? 非常感谢 斯特凡 最佳答案 file
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the he
我有一个 javascript 文件,并且在该方法中有一个“测试”方法,我喜欢调用 C# 函数。 c# 函数与 javascript 文件不在同一文件中。 它位于 .cs 文件中。那么我该如何管理 j
需要检查我使用的文件/目录的权限 //filePath = path of file/directory access denied by user ( in windows ) File fil
我在一个目录中有很多 java 文件,我想在我的 Intellij 项目中使用它。但是我不想每次开始一个新项目时都将 java 文件复制到我的项目中。 我知道我可以在 Visual Studio 和
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 这个问题似乎不是关于 a specific programming problem, a software
我有 3 个组件的 Twig 文件: 文件 1: {# content-here #} 文件 2: {{ title-here }} {# content-here #}
我得到了 mod_ldap.c 和 mod_authnz_ldap.c 文件。我需要使用 Linux 命令的 mod_ldap.so 和 mod_authnz_ldap.so 文件。 最佳答案 从 c
我想使用PIE在我的项目中使用 IE7。 但是我不明白的是,我只能在网络服务器上使用 .htc 文件吗? 我可以在没有网络服务器的情况下通过浏览器加载的本地页面中使用它吗? 我在 PIE 的文档中看到
我在 CI 管道中考虑这一点,我应该首先构建和测试我的应用程序,结果应该是一个 docker 镜像。 我想知道使用构建环境在构建服务器上构建然后运行测试是否更常见。也许为此使用构建脚本。最后只需将 j
using namespace std; struct WebSites { string siteName; int rank; string getSiteName() {
我是 Linux 新手,目前正在尝试使用 ginkgo USB-CAN 接口(interface) 的 API 编程功能。为了使用 C++ 对 API 进行编程,他们提供了库文件,其中包含三个带有 .
我刚学C语言,在实现一个程序时遇到了问题将 test.txt 文件作为程序的输入。 test.txt 文件的内容是: 1 30 30 40 50 60 2 40 30 50 60 60 3 30 20
如何连接两个tcpdump文件,使一个流量在文件中出现一个接一个?具体来说,我想“乘以”一个 tcpdump 文件,这样所有的 session 将一个接一个地按顺序重复几次。 最佳答案 mergeca
我有一个名为 input.MP4 的文件,它已损坏。它来自闭路电视摄像机。我什么都试过了,ffmpeg , VLC 转换,没有运气。但是,我使用了 mediainfo和 exiftool并提取以下信息
我想做什么? 我想提取 ISO 文件并编辑其中的文件,然后将其重新打包回 ISO 文件。 (正如你已经读过的) 我为什么要这样做? 我想开始修改 PSP ISO,为此我必须使用游戏资源、 Assets
给定一个 gzip 文件 Z,如果我将其解压缩为 Z',有什么办法可以重新压缩它以恢复完全相同的 gzip 文件 Z?在粗略阅读了 DEFLATE 格式后,我猜不会,因为任何给定的文件都可能在 DEF
我必须从数据库向我的邮件 ID 发送一封带有附件的邮件。 EXEC msdb.dbo.sp_send_dbmail @profile_name = 'Adventure Works Admin
我有一个大的 M4B 文件和一个 CUE 文件。我想将其拆分为多个 M4B 文件,或将其拆分为多个 MP3 文件(以前首选)。 我想在命令行中执行此操作(OS X,但如果需要可以使用 Linux),而
快速提问。我有一个没有实现文件的类的项目。 然后在 AppDelegate 我有: #import "AppDelegate.h" #import "SomeClass.h" @interface A
我是一名优秀的程序员,十分优秀!