mysql - 通过忽略变量 CSV 列将 CSV 批量导入 MySQL

Question

我正在尝试通过 bash shell (Windows) 对 MySQL 数据库中的多个 CSV 文件实现批量导入。我遇到的问题是我的 CSV 文件 (500+) 有两个不同数量的列。

CSV 类型 1

No,Latitude,Longitude,Name,Altitude,Description,Symbol,Filename
1,-26.976823,21.836022,"1608",912.7,"1608","Flag","W80716pmNATV"

CSV 类型 2

No,Latitude,Longitude,Name,Altitude,Symbol,Filename
1,-26.977080,21.833260,"0649SB",902.0,"Flag","W81018amDH.mps"

我如何操作:

LOAD DATA INFILE ' VH110131pmBES.mps.csv '
INTO TABLE `gpsdata`.`import`
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\r\n'
IGNORE 1 LINES (@dummy, `Latitude`, `Longitude`, `Name`, `Altitude`, @dummy, `Filename`)'

将两个文件合并到一个 bash 代码中？我在开始自动递增时确实有一个唯一的 ID 字段。

Answer 1

1. 总是选择更宽的 table (类型 1)
2. 在 ...IGNORE 1 LINES 之后删除 LOAD DATA... 命令中的列名
3. 运行导入
4. 检查 mysql 中所有新表的空列 Filename -> 这些是 type2 格式的表
5. 仅对于 type2 表:将 Symbol 的内容移动到 Filename，将 Description 的内容移动到 Symbol，删除列 Description