java - 从文件读取，内存不足

Question

我最近刚刚被问到一个面试问题，涉及从 CSV 文件读取数据并总结某些单元格中的条目。当被要求优化它时，我无法回答如果给我们一个大小为 100 GB 的 CSV，如何处理内存不足的情况。

在 Java 中，读取文件到底是如何工作的？我们如何知道某物何时太大？我们该如何处理呢？有人告诉我，您可以传入中间读取器对象，而不是尝试读取整个内容？

Answer 1

面试官给了你一个提示——BufferedReader。它是逐行读取大文件的有效选择。

小例子:

String line;
BufferedReader br = new BufferedReader("c:/test.txt");
while ((line= br.readLine()) != null) {
   //do processing
} 
br.close();

Here是文档