mysql - 如何快速将非常大的 csv 文件导入 mysql？

Question

如果我有例如 1 GB 的 csv 文件，并且我想快速将其导入 mysql，我应该怎么做？我之前尝试过导入 1 GB 的文件，大约需要 1.5 小时。我使用具有 16 GB RAM 的计算机。如果我想上传更大的文件，则需要更长的时间。

那么，我应该怎么做才能加快这个过程呢？谢谢....

Answer 1

您可以暂时禁用涉及的表的键/索引(对于 MyISAM)

ALTER TABLE ... ENABLE/DISABLE KEYS

或将 InnoDB 的 AUTO_COMMIT 设置为关闭。

SET AUTOCOMMIT = 0; 
SET FOREIGN_KEY_CHECKS = 0; 
SET UNIQUE_CHECKS = 0;
SET sql_log_bin = 0;

然后运行 ​​LOAD DATA INFILE

注意:这里要注意的一件事是，驻留在同一主机上的源文件可以帮助我们提高性能，因为数据不必通过网络传输。简而言之，使用 LOAD DATA INFILE 而不是 LOAD DATA LOCAL INFILE。

您可以从这个详尽的答案中获取引用: MySQL disable & enable keys