python - SqlAlchemy中如何使用pandas做upsert

Question

我通过 SqlAlchemy 在 postgresql 中创建了一个表:

my_table = Table('test_table', meta,
                         Column('id', Integer,primary_key=True,unique=True),
                         Column('value1', Integer),
                         Column('value2', Integer)
                         )

我想通过如下数据框更新此表:

   id  value1  value2
0   1    32.0       1
1   2     2.0      32
2   3     NaN       3
3   4   213.0      23

我尝试通过 SqlAlchemy 中的 on_conflict_do_update 对我的代码进行更新，如下所示:

insert_statement = sqlalchemy.dialects.postgresql.insert(my_table,).values(df.to_dict(orient='records'))
upsert_statement = insert_statement.on_conflict_do_update(
                                    index_elements=['id'],
                                    set_= df.to_dict(orient='dict')
                                )
conn.execute(upsert_statement)

但是显示这个错误:

(psycopg2.ProgrammingError) can't adapt type 'dict'

我的SqlAlchemy版本是1.2.10，psycopg2版本是2.7.5。有人可以帮助我吗？

Answer 1

set_参数需要一个以列名作为键，表达式或文字作为值的映射，但是您传递的是一个以嵌套字典作为值的映射，即 df.to_dict(orient='dict') 。错误“无法调整类型‘dict’”是 SQLAlchemy 将这些字典作为“文字”传递给 Psycopg2 的结果。

因为您正尝试使用 VALUES 子句在单个 INSERT 中插入多行，所以您应该使用 excluded在 SET Action 中。 EXCLUDED 是一个特殊的表，表示要插入的行。

insert_statement = postgresql.insert(my_table).values(df.to_dict(orient='records'))
upsert_statement = insert_statement.on_conflict_do_update(
    index_elements=['id'],
    set_={c.key: c for c in insert_statement.excluded if c.key != 'id'})
conn.execute(upsert_statement)