mysql - 更快或并行地将 csv 文件加载到 mysql 中

Question

我有一个 mysql 表，其中包含主 auto_increment 键。

我有 500 个 csv 文件，每个文件大约有 3GB 的数据，大部分数据在一列中。

目前我正在使用以下方法将文件加载到 mysql 中:

#!/bin/bash
for file in /files/*.csv
do
    mysql -e "load data local infile '$f' into table myTable FIELDS TERMINATED BY ',' 
    ENCLOSED BY '\"' escaped by '\"' IGNORE 1 LINES"  -u user -ppass
done

有什么方法可以提高性能吗？也许在插入时删除主键，然后再添加？或者有没有一种方法可以并行插入而不是一次插入一个文件？

Answer 1

从版本 5.0.17 开始，新的 MySQL Shell 具有用于 CSV、TSV 和 JSON 文件的并行批量加载器。