mysql - 将 csv 文件内容加载到 mysql 表中并进行验证

Question

我想将一个大的csv文件(大约12MO)导入到mysql表中，首先我尝试使用LOAD DATA INFILE它工作得很好，但就我而言，我想首先测试csv行以确定是否要更新数据或插入新记录所以解决方案是读取文件并将每一行的内容与表中已有的数据进行比较，并做出正确的操作这种方法也有效，但需要大量时间和资源

现在我的问题是

1:我可以使用PHPMYADMIN的导入功能(开源) 我的项目是商业的

2:如果是的话我可以，你知道一些关于这个的教程吗(任何想法)

3:如果没有，我不能，是否有这样的商业框架用于导出/导入

谢谢

Answer 1

这实际上是非常常见的 SQL:您要么想要插入，要么想要更新，是吗？因此，您需要两个语句(一个用于更新，一个用于插入)以及一种判断是否应该插入的方法。您真正需要的是一个永远不会为单个记录重复的唯一键(可以是复合键)和两个语句，如下所示:

UPDATE right SET
   right1 = left1,
   right2 = left2,
   etc
FROM the_import_table right
LEFT JOIN the_existing_data left ON left.key = right.key
WHERE right.key IS NOT NULL --note that I write in TSQL

INSERT INTO right (
   right1,
   right2,
   etc
) SELECT
   left1,
   left2,
   etc
FROM left
LEFT JOIN right on left.key = right.key
WHERE right.key IS NULL

请注意，您可以在 WHERE 中使用一组 AND 值来使用复合键，并注意您不会更新复合键，但可能会插入复合键。这应该很好地帮助您开始。在要求澄清之前，请用实际代码更新您的问题。