python - 在向其中插入新数据时是否可以转储/复制 PostgreSQL 表？

Question

我已经建立了一个 PostgreSQL 数据库(版本 11.2)，其中有一个表，新条目以半固定的时间间隔(15-30 分钟)插入到该表中。插入是通过带有 SQLAlchemy 的 python 脚本和带有 df.to_sql() 命令的 Pandas 完成的。现有数据库非常大，复制/转储它很可能需要 30 分钟以上的时间。

运行 CREATE TABLE new_table AS TABLE old_table; 会中断数据插入过程吗？如果是，是否有另一种方法可以不间断地执行此操作？

数据库在 Red Hat Enterprise 服务器 7.6 版上运行。我拥有整个数据库的管理员权限，可以使用 PuTTy + psql -U username -d my_database 访问它，如果有区别的话，也可以从 pgAdmin 访问它。我还没有尝试任何东西，因为担心会中断收集过程。

Answer 1

Postgresql 中的事务是任何单一的、全有或全无的操作。事务被称为原子的:从其他事务的角度来看，它要么完全发生，要么根本不发生。

到目前为止，由打开的事务所做的更新对其他事务不可见，直到事务完成，于是所有更新同时变得可见。事务只有在使用 COMMIT; 提交后才变得真实(或对其他事务可见)命令。

您的第一个插入命令可能只会锁定当前正在插入的那些行。这些行仅在插入事务已完成并提交时可用。

回答你的问题:

1) Would running CREATE TABLE new_table AS TABLE old_table; interrupt the data insertion process?

没有。一点也不。

2) If yes, is there another way to do this without interruptions?

已回答第一个问题。

这里的场景是创建表命令只会复制当前未被任何事务锁定的数据。因此对于插入命令，这将(大部分) 仅是当前插入的行。创建表将复制插入事务之前的所有数据。

您可以通过如下插入命令检查锁:

select * from pg_stat_activity;

这将输出类似的内容。

-[ RECORD 2 ]----+--------------------------------
datid            | 73103
datname          | database
procpid          | 28477
sess_id          | 16424
usesysid         | 10
usename          | user
current_query    | insert .....
waiting          | f
query_start      | 2019-05-20 06:10:21.126825+00
backend_start    | 2019-05-20 05:43:51.600017+00
client_addr      | 0.0.0.0
client_port      | 
application_name | 
xact_start       | 

由此我们可以确定此过程创建的锁为:

select * from pg_locks where pid = 28477;

您可以在同一个表上更新、删除、插入多个事务，而事务不会相互阻塞 - 前提是每个事务处理不同的行。只有当第二个尝试插入与第一个相同的主键(或唯一键)值时，两个插入才会相互阻塞。如果您不希望任何锁影响您的查询，您可以使用 WITH NOLOCK，但请谨慎使用。

更多信息请访问:
https://www.postgresql.org/docs/9.1/explicit-locking.html
https://www.postgresql.org/docs/9.1/transaction-iso.html