sql - 从日期范围内的表中删除数百万条记录

Question

我有一个名为camera_activities的表，里面有超过数百万条记录，表结构如下

CREATE TABLE camera_activities
(
  id serial NOT NULL,
  camera_id integer NOT NULL,
  access_token_id integer,
  action text NOT NULL,
  done_at timestamp with time zone NOT NULL,
  ip inet,
  extra json,
  camera_exid text,
  name text
)
WITH (
  OIDS=FALSE
);
ALTER TABLE camera_activities
  OWNER TO 8hhjhjgghg7;

-- Index: camera_activities_camera_id_done_at_index

-- DROP INDEX camera_activities_camera_id_done_at_index;

CREATE UNIQUE INDEX camera_activities_camera_id_done_at_index
  ON camera_activities
  USING btree
  (camera_id, done_at);

一条记录就像

问题来了

我想把2016年之前的记录全部删掉，那么多，范围是2014年等等，我们从2014年开始加数据..

我尝试了一个简单的查询并且效果很好，例如，如果我在 2 个日期之间删除 as

delete from camera_activities where done_at>'2017-07-12 10:55:37+00' and done_at<='2017-07-13 09:23:00+00

这行得通，但是很耗时，有超过数百万条记录，有什么快速的方法可以完成这项工作吗？

注意:如果我可以将日期范围增加到一个月或一个月以上，查询将继续运行并且不会返回任何结果。

任何帮助或指导都会有所帮助，

Answer 1

有两种基本方法可以执行大量 DELETE 操作。

1) 创建另一个表，删除旧表并重命名新表，最后ANALYZE新表:

begin;
create table camera_activities_new (like camera_activities including all);

insert into camera_activities_new
select * from camera_activities
where done_at >= ''2016-01-01'::date;

alter sequence camera_activities_id_seq owned by camera_activities_new;
drop table camera_activities;
alter table camera_activities_new rename to camera_activities;
alter index camera_activities_new_camera_id_done_at_idx rename to camera_activities_camera_id_done_at_idx;
commit;

analyze camera_activities;

这种方法保证生成的表格将处于最佳状态(无膨胀)。但是如果你的系统负载很重并且涉及到表，它可能不太方便。在这种情况下，“平滑删除”可能看起来更好。

2) “平滑”删除:每次只删除相对少量的行，使用更积极的 autovacuum 设置并控制膨胀。

示例，显示如何将删除拆分为多个独立事务(在 bash 中；依赖于 $PGDATABASE、$PGHOST、$PGUSER， $PGPASSWORD 环境变量):

while true; do
  res=$(psql -c "delete from camera_activities where id in (select id camera_activities where done_at < '2016-01-01'::date limit 500);" \
    | grep DELETE | awk {'print $2'} )
  if [[ $res = '0' ]]; then break; fi;
  sleep 0.3; # control speed here; check bloating level
done

– 当没有要删除的行时，这将自动停止。

您在(camera_id, done_at) 上的索引应该加速子选择，进行位图索引扫描——检查EXPLAIN。但是在 done_at 上有一个单独的索引可能是值得的，在这种情况下它可以是 btree 或 brin(有损但大小更小):

create i_camera_activities_done_at on camera_activities using brin(done_at);

“更积极的”(比默认的)autovacuum 设置示例:

log_autovacuum_min_duration = 0
autovacuum_vacuum_scale_factor = 0.01
autovacuum_analyze_scale_factor = 0.05
autovacuum_naptime = 60
autovacuum_vacuum_cost_delay = 20

有助于查看表格膨胀程度的不同查询:

• https://wiki.postgresql.org/wiki/Show_database_bloat
• http://blog.ioguix.net/postgresql/2014/09/10/Bloat-estimation-for-tables.html
• https://github.com/ioguix/pgsql-bloat-estimation/blob/master/table/table_bloat-82-84.sql
• https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat.sql (对于索引:
• https://github.com/dataegret/pg-utils/blob/master/sql/index_bloat.sql ;这些查询需要 pgstattuple 扩展)