java - 读取 CSV 文件并将其连接到数据库中

Question

我正在实现从一个数据库到另一个数据库的应用程序特定数据导入功能。

我有一个 CSV 文件，其中包含 10000 行。这些行需要插入/更新到数据库中。

我正在使用 mysql 数据库并从 Java 插入。

可能存在这样的情况，数据库中可能存在几行，这意味着这些行需要更新。如果数据库中不存在，则需要插入它们。

一种可能的解决方案是，我可以一行一行地读取，检查数据库中的条目并相应地构建插入/更新查询。但是这个过程可能需要很多时间来创建更新/插入查询并在数据库中执行它们。有时我的 CSV 文件可能有数百万条记录。

还有其他更快的方法来实现此功能吗？

Answer 1

我不知道你如何确定“已经存在”，但如果它是任何类型的数据库级别约束(可能在主键上？)，你可以使用 REPLACE INTO 语句，这将创建一条记录，除非它会收到错误，在这种情况下，它将更新阻止其插入的记录。

它的工作原理基本上就像 INSERT 一样:

REPLACE INTO table ( id, field1, field2 )
VALUES ( 1, 'value1', 'value'2 )

如果存在 ID 为 1 的行，则会使用这些值进行更新；否则它就会被创建。