mysql - 使用 JDBC executeBatch() 通过 appscript 批量插入 Cloud SQL 消耗太多时间

Question

我收集了一些原始数据并将其存储在谷歌电子表格中，还有一个现有的谷歌云 SQL 实例。我正在尝试使用 appscript 从 gsheet 中提取数据，然后推送到 gcloud SQL。

不幸的是，我发现完成“批量插入”花费了太多时间。这是我的方法和结果(在这个例子中，我没有展示从 gsheet 中提取数据的方法，因为它很快而且无关紧要):

应用脚本:

   var connection = [My Connection];
   connection.setAutoCommit(false);
   var stmt = connection.prepareStatement('INSERT INTO [testTable]'
      + '(emp_no,title,from_date,to_date) values (?, ?, ?, ?)');
   for (var i = 1; i <= 50; i++) { //tuples counter i
    stmt.setString(1, 1);
    stmt.setString(2, "Worker" + i);
    stmt.setString(3, "2018-03-11");
    stmt.setString(4, "2019-05-04");
    stmt.addBatch();
  }
  stmt.executeBatch();
  connection.commit();

简单的代码，这是我的结果(来自“执行记录”):

当元组计数器 i 小于 50 时:

[19-08-12 13:57:46:470 NZST] JdbcPreparedStatement.executeBatch() [9.978 seconds]

当元组计数器 i 小于 500 时:

[19-08-12 14:10:23:575 NZST] JdbcPreparedStatement.executeBatch() [96.578 seconds]

我想做的是拉和推 5000 个元组。在这种情况下如何减少执行时间？

Answer 1

Google Apps Script 的 JDBC 连接器是出了名的慢。

您可能不得不完全放弃使用它并改用其他东西。

如果您熟悉 Node.js，那么您可能需要考虑使用 Cloud Function作为向您的工作表和 CloudSQL 数据库推送和拉取数据的中介服务。