gpt4 book ai didi

java - java分割大文件

转载 作者:行者123 更新时间:2023-12-01 13:13:02 25 4
gpt4 key购买 nike

我有超过 1 GB 的大文件,我想搜索某个单词的出现情况。所以我想在多个线程上执行任务,其中每个线程将处理文件的一部分。

执行此操作的最佳方法是什么,我考虑将文件读入多个固定大小的缓冲区,并向每个线程传递一个缓冲区。

有没有更好的方法来做到这一点

[编辑]我想在不同的设备上执行每个线程

最佳答案

对于小于 2 GB (231) 的文件,例如在 RandomAccessFile 上的 ByteBuffer 是可行的。

一般解决方案是使用 FileChannel ,及其 MappedByteBuffer

对于多个缓冲区,必须注意缓冲区重叠,以便可以在缓冲区边界上找到该单词。

关于java - java分割大文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22693792/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com