java - 用Java读取和处理大文本文件？

Question

很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它， visit the help center 。

已关闭 10 年前。

我想读取一个非常大的文本文件(网络应用程序的日志文件)并进行一些处理。

是否有任何框架可以帮助完成此类工作？

文件有100M+，我应该使用多线程吗？

最诚挚的问候

Answer 1

在您的情况下，多线程不会有太大帮助，因为问题是 I/O 限制而不是 CPU 限制(好吧，除非您尝试在内存中对文本文件进行大量处理然后将其写回) 。如果关心的是读取文件，通常大型系统可以处理 100 MB。如果这就是文件的大小，并且您正在 Unix 计算机上运行，​​请查看是否可以在 64 位 VM 下运行您的代码。当然，这并不是真正的永久解决方案。

可扩展的解决方案是让您逐行读取文件并仅保留您想要的数据，最后单独处理该数据(假设您可以进行离线处理)。 Little Bobby Tables 的方法是一个很好的方法，因为它为您提供了恒定的处理时间(实际上它将是 O(n)，其中 n 是要处理的行数)。