php - 向数据库添加新条目的最佳方式

Question

我正在寻找速度和性能方面的最佳方式来向数据库添加新条目。

我正在拉取一个导致 aprox 数组的提要。 50.000 (50k) 个条目。

我有一个已经包含很多条目的数据库，我不想截断并全部添加它们，而是只想将新条目添加到数据库中。

数组中的每个条目都有一个唯一的 ID，因此可以很容易地在数据库中选择它们。

我认为最“最佳”的方法是迭代数组，然后对数组中的每个元素进行选择，以查看它是否已经在数据库中以及是否没有将其添加到数据库中。

然而，关于那件事的某些事情似乎是错误的，因为它是很多的查询。

是否有更快/更好的方法？

Answer 1

我会将 50k 条目保存到一个 CSV 文件中，并使用 LOAD DATA LOCAL INFILE 'filename'。

添加 REPLACE 选项以覆盖数据库中与唯一键匹配的任何记录，或添加 IGNORE 选项以避免覆盖记录，忽略 CSV 中的新数据文件。

阅读https://dev.mysql.com/doc/refman/8.0/en/load-data.html

另请参阅我的演示文稿 Load Data Fast!我在其中测量了插入批量数据的不同方法的性能。