python - 如何在没有数据重复的情况下将 pandas 数据框插入数据库？

Question

我使用 .to_sql 函数插入数据。但它无法检查重复的插入数据。 (它只能检查重复的表)

源代码)当我运行下面的源代码两次时。

userData.to_sql(con=engine, name='test_quest_complete', schema='test', if_exists='append')

结果)表中插入了相同的数据。

0   2016-11-14 00:00:10 AAAA
1   2016-11-14 00:00:20 BBBB
0   2016-11-14 00:00:10 AAAA
1   2016-11-14 00:00:20 BBBB

如何在不重复数据的情况下将 pandas 数据框插入数据库？

(另外，我尝试使用load data local infile，但是由于安全问题我不能使用它。)

Answer 1

如果您拥有数据库的管理权限，我建议您对表本身设置一些约束。然后 python 插入将引发异常(您可以拦截它)。否则你也可以尝试先从表中检索数据并将其合并到 pandas 中。然后对所有列进行分组，将不存在的数据作为新数据框插入。