mysql - 仅将匹配的数据从 CSV 导入到 MySQL

Question

我需要从非常大的 csv 文件(大约 1GB)导入一些数据。

我不想导入全部，而是只想导入匹配的数据，我认为这比导入所有数据更容易、更快。

我需要搜索CSV文件的“邮政编码区”列，如果包含LS1或LS2或LS10，则将匹配的数据导入SQL中的表中？

Answer 1

误解。您认为根据数据库表过滤文本文件比将整个文件加载到数据库中要快。

我支持在极端情况下这可能是真的。但是，一般来说，处理此类情况的最安全方法是:

• 将文件导入暂存表。
• 根据需要向临时表添加索引以提高性能。
• 运行查询以从临时表中复制所需的数据。

我可以用不同的方式表达这一点。当您需要弄清楚如何有效地组合文件和数据库表中的信息时，您可能需要完成上述过程 10-50 次。