java - 用java将大量数据插入数据库

Question

这个问题可能会被很多人问到，但是，所以我尝试使用java将400万条记录插入数据库，我做了很多谷歌搜索并尝试了 access 和 MySQL。两者几乎一模一样，对于MySQL，我尝试了statement.addBatch();，但仍然需要很长时间。问题是，我能得到的最佳时间是什么？最好的方法是什么？

        counter++;
        String sqlQuery = "INSERT INTO employees VALUES("some query")";

        sqlState.addBatch(sqlQuery);

        if (counter == 1000) {

            sqlState.executeBatch();

            counter = 0;
        }

我使用的 Batch 是否正确？

Answer 1

重用单个PreparedStatements，并为每个记录设置参数，然后将其添加到批处理中。

PreparedStatement ps = conn.prepareStatement("Insert into employees (f1, f2, f3) VALUES (?, ?, ?)");
while (hasMoreRecords) {
  ps.setString(1, "v1");
  ps.setString(2, "v2");
  ....
  ps.addBatch();
  if (++i % 1000 == 0) {
    ps.executeBatch();
  }
}
ps.executeBatch();

这不会有很大的差异，但却是最佳的。

您的INSERT是否使用子查询？也许该子查询很慢。