gpt4 book ai didi

java - 读取和处理25GB的大文本文件

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:53:01 26 4
gpt4 key购买 nike

我必须读取一个大文本文件,例如 25 GB,并且需要在 15-20 分钟内处理该文件。此文件将有多个页眉和页 footer 分。

我尝试使用 CSplit 根据文件头拆分此文件,但根据文件头将其拆分为多个文件大约需要 24 到 25 分钟,这是完全不能接受的。

我尝试使用 BufferReaderBufferWiter 以及 FileReaderFileWriter 进行顺序读取和写入。它需要超过 27 分钟。同样,这是 Not Acceptable 。

我尝试了另一种方法,例如获取每个 header 的起始索引,然后使用 RandomAccessFile 运行多个线程从特定位置读取文件。但运气不好。

我怎样才能达到我的要求?

Possible duplicate of:

Read large files in Java

最佳答案

尝试使用较大的缓冲区读取大小(例如,20MB 而不是 2MB)来更快地处理您的数据。也不要使用 BufferedReader,因为速度和字符转换速度慢。

这个问题之前有人问过:Read large files in Java

关于java - 读取和处理25GB的大文本文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8813982/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com