mysql - 有没有更快的方法将数据从 R 上传到 MySql？

Question

我正在使用以下代码将新表上传到 mysql 数据库。

library(RMySql)
library(RODBC)

con <- dbConnect(MySQL(),
  user = 'user',
  password = 'pw',
  host = 'amazonaws.com',
  dbname = 'db_name')

dbSendQuery(con, "CREATE TABLE table_1 (
        var_1 VARCHAR(50),
        var_2 VARCHAR(50),
        var_3 DOUBLE,
        var_4 DOUBLE);
        ")

channel <- odbcConnect("db name")
sqlSave(channel, dat = df, tablename = "tb_name", rownames = FALSE, append = 
TRUE)

完整的数据集是 68 个变量和 500 万行。将 50,000 行上传到 MySql 需要 90 多分钟。有没有更有效的方法将数据上传到 MySql。我最初尝试了 dbWriteTable()，但这会导致出现一条错误消息，指出与数据库的连接已丢失。

Answer 1

考虑从 R 导出 CSV 以使用 LOAD DATA INFILE 导入 MySQL :

...
write.csv(df, "/path/to/filename.csv", row.names=FALSE)

dbSendQuery(con, "LOAD DATA LOCAL INFILE '/path/to/filename.csv'
                  INTO TABLE mytable
                  FIELDS TERMINATED by ','
                  ENCLOSED BY '"'
                  LINES TERMINATED BY '\\n'")