python - pandas.to_sql 基于 'unique id' 用新数据替换旧数据

Question

我有一个 pandas Dataframe，我已使用以下代码将其放入 sql。

代码

df = pandas.read_csv(io.StringIO(r))
pandas.DataFrame.to_sql(df, name='Database count details', con=engine)

示例数据

UNIQUE id   name          refreshed_at    values
2449205     ABC           2014-01-10      22
26019260    DEF           2016-03-04      51
26019261    GHI (1333)    2016-03-04      0.55

我的意图是每周运行一次代码，如果 unique id 匹配，则用该周的数据替换 .db 文件中的数据。如果不匹配，它将附加到 .db 文件。

我应该怎么做？或者是否有更好的方法来执行此任务？

Answer 1

只需在运行 to_sql 之前删除冲突的行。以下是我如何更新实验结果。

from sqlalchemy import select, delete, Table, MetaData
metadata = MetaData(engine)

experiment_name = 'base-20180608'
pipeline_proposals = Table('pipeline_proposals', metadata, autoload=True)
pipeline_proposals.delete().where(pipeline_proposals.c.experiment_name == experiment_name).execute()

proposals["experiment_name"]=experiment_name
proposals.to_sql("pipeline_proposals", con=engine, if_exists='append')