mysql - LOAD DATA INFILE 用于同时将数据插入两个表中？

Question

我有一个包含超过 100k 条记录的 CSV 文件，我需要将某些字段插入到一个表中，并将其余字段插入到另一个表中。

我知道我可以一个接一个地编写两个 LOAD DATA INFILE 查询来得到这个，我尝试过，它也工作得很好。但我想知道是否可以执行以下操作:

1. 从 csv 文件中读取一行。
2. 取出某些记录，将它们插入表 A。将剩余的记录插入表 B。
3. 阅读下一行。重复 2。

这可能吗？我知道 MySQL 中的并发性对系统来说确实很折磨人，但我想知道我的所有选项。

Answer 1

无法使用LOAD DATA INFILE进行行过滤。

但是，您可以使用 grep 或 awk 创建一个小型 shell 脚本来解析您的文件并仅插入与您的条件匹配的记录:

cat file.txt |
  awk '/\t.+/' |
    mysql -u your_username -pyour_password \
      -e "LOAD DATA LOCAL INFILE '/dev/stdin' \
          IGNORE INTO TABLE table_name         \
          COLUMNS TERMINATED BY '\t'          \
          LINES TERMINATED BY '\n'            \
          (col1, col2);" \
      database_name

其他更好的方法是将所有数据加载到临时表中，并使用该表通过过滤所需数据来加载原始表中的数据。