java - mysql中如何使用多线程取数据

Question

您好，我正在尝试从 MYSQL 数据库中的一个表中获取 50K + 行。检索所有数据并将其写入文本文件需要 20 多分钟。我可以使用多线程来减少这个获取时间并使代码更有效率吗？任何帮助将不胜感激。

我使用普通的 JDBC 连接和 ResultSetMetaData 从表中获取行。

String row = "";
    stmt = conn.createStatement();
    ResultSet rs = stmt.executeQuery("select * from employee_details");
    ResultSetMetaData rsmd = rs.getMetaData();
    int columnCount = rsmd.getColumnCount();
while (rs.next()) {
        for (int i = 1; i < columnCount; i++) {
            row = row + rs.getObject(i) + "|";// check
        }
        row = row + "\r\n";
    }

我正在如下文本文件中写入获取的值。

BufferedWriter writer = new BufferedWriter(new FileWriter(
    "C:/Users/430398/Desktop/file/abcd.txt"));
    writer.write(row);
    writer.close();

Answer 1

请记住，rs.next 将以 n 批处理从数据库中获取结果。其中 n 是由 JDBC 实现定义的数字。我假设现在是 10 点。因此，对于每 10 个批处理，它将再次查询数据库，因此会有网络开销 - 即使它在同一台机器上也是如此。

只需增加该数字即可缩短加载时间。

编辑:添加这个stmt.setFetchSize(50000);
可能是这样。

请注意，这会导致大量内存消耗。