java : writing large files?

Question

问候，我从数据库中获取大量记录并写入文件。我想知道写入大文件的最佳方法是什么。 (1Gb - 10Gb)。

目前我正在使用 BufferedWriter

BufferedWriter mbrWriter=new BufferedWriter(new FileWriter(memberCSV));
while(done){
 //do writings
}
mbrWriter.close();

Answer 1

如果您真的坚持为此使用 Java，那么最好的方法是数据一进来就立即编写，而不是收集所有数据首先从 ResultSet 到 Java 的内存中。否则，在 Java 中您至少需要那么多的空闲内存。

因此，做例如

while (resultSet.next()) {
    writer.write(resultSet.getString("columnname"));
    // ...
}

也就是说，大多数体面的数据库都带有内置的导出到 CSV 的功能，这无疑比您在 Java 中做的更有效。你没有提到你使用的是哪一个，但如果它是例如 MySQL，你可以使用 LOAD DATA INFILE为了这。只需引用特定于数据库的文档。希望这能带来新的见解。