个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
26
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章如何为PostgreSQL的表自动添加分区由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
PostgreSQL 引进“分区”表特性，解放了之前采用“表继承”+ “触发器”来实现分区表的繁琐、低效。而添加分区，都是手动执行 SQL.
演示目的：利用 python 来为 PostgreSQL 的表自动添加分区.
python版本： python3+ 。
|
1
|
pip3 install psycopg2
|
。
1、配置数据源 。
database.ini 文件：记录数据库连接参数 。
|
1
2
3
4
5
6
7
8
9
10
11
12
|
[adsas]
host
=
192.168
.
1.201
database
=
adsas
user
=
adsas
password
=
adsas123
port
=
5432
[test]
host
=
192.168
.
1.202
database
=
adsas
user
=
adsas
password
=
adsas123
port
=
5432
|
。
2、config 脚本 。
config.py 文件：下面的config() 函数读取database.ini文件并返回连接参数。config() 函数位于config.py文件中 。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#!/usr/bin/python3
from configparser import ConfigParser
def config(section ,filename='database.ini'):
# create a parser
parser = ConfigParser()
# read config file
parser.read(filename)
# get section, default to postgresql
db = {}
if parser.has_section(section):
params = parser.items(section)
for param in params:
db[param[0]] = param[1]
else:
raise Exception('Section {0} not found in the {1} file'.format(section, filename))
return db
|
。
3、创建子表脚本 。
pg_add_partition_table.py 文件：其中 create_table函数是创建子表SQL。其中参数 。
。
。
| 参数名 | 含义 |
|---|---|
| db | 指向数据库 |
| table | 主表 |
| sub_table | 正要新建的子表名 |
| start_date | 范围分界开始值 |
| end_date | 范围分界结束值 |
。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
#!/usr/bin/python3
import
psycopg2
from
config
import
config
# example: create table tbl_game_android_step_log_2021_07 PARTITION OF tbl_game_android_step_log FOR VALUES FROM ('2021-07-01') TO ('2021-08-01');
def
create_table(db, table, sub_table, start_date, end_date):
""" create subtable in the PostgreSQL database"""
command
=
"create table {0} PARTITION OF {1} FOR VALUES FROM ('{2[0]}') TO ('{2[1]}');"
.
format
(sub_table, table, (start_date, end_date))
conn
=
None
try
:
# read the connection parameters
params
=
config(section
=
db)
# connect to the PostgreSQL server
conn
=
psycopg2.connect(
*
*
params)
cur
=
conn.cursor()
# create table one by one
cur.execute(command)
# close communication with the PostgreSQL database server
cur.close()
# commit the changes
conn.commit()
except
(Exception, psycopg2.DatabaseError) as error:
print
(error)
finally
:
if
conn
is
not
None
:
conn.close()
|
。
4、执行文件main.py 。
main.py：主文件；通过执行main生成分区表.
示例:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
#!/usr/bin/python3
import
datetime
from
datetime
import
date
from
dateutil.relativedelta
import
*
from
pg_add_partition_table
import
create_table
# Get the 1st day of the next month
def
get_next_month_first_day(d):
return
date(d.year
+
(d.month
=
=
12
), d.month
=
=
12
or
d.month
+
1
,
1
)
def
create_sub_table(db, table):
# Get current date
d1
=
date.today()
# Get next month's date
d2
=
d1
+
relativedelta(months
=
+
1
)
# Get the 1st day of the next month;As the starting value of the partitioned table
start_date
=
get_next_month_first_day(d1)
# Gets the 1st of the next two months as the end value of the partitioned table
end_date
=
get_next_month_first_day(d2)
# get sub table name
getmonth
=
datetime.datetime.strftime(d2,
'%Y_%m'
)
sub_table
=
table
+
'_'
+
getmonth
create_table(db, table, sub_table, start_date, end_date)
if
__name__
=
=
'__main__'
:
create_sub_table(
'test'
,
'tbl_game_android_step_log'
);
|
上面示例单独为表tbl_game_android_step_log；创建分区；若多个表；用for语句处理 。
|
1
2
3
|
# 多表操作
for
table
in
[
'tbl_game_android_step_log'
,
'tbl_game_android_game_log'
,
'tbl_game_android_pay_log'
]:
create_sub_table(
'test'
, table);
|
] 。
演示之前:
|
1
2
3
4
5
6
|
adsas
=
> select
*
from
pg_partition_tree(
'tbl_game_android_step_log'
);
relid | parentrelid | isleaf | level
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
+
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
+
-
-
-
-
-
-
-
-
+
-
-
-
-
-
-
-
tbl_game_android_step_log | | f |
0
tbl_game_android_step_log_2020_12 | tbl_game_android_step_log | t |
1
(
2
rows)
|
演示之后:
|
1
2
3
4
5
6
7
8
9
|
adsas
=
> select
*
from
pg_partition_tree(
'tbl_game_android_step_log'
);
relid | parentrelid | isleaf | level
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
+
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
+
-
-
-
-
-
-
-
-
+
-
-
-
-
-
-
-
tbl_game_android_step_log | | f |
0
tbl_game_android_step_log_2020_12 | tbl_game_android_step_log | t |
1
tbl_game_android_step_log_2021_01 | tbl_game_android_step_log | t |
1
Partition key:
RANGE
(visit_time)
Partitions: tbl_game_android_step_log_2020_12 FOR VALUES FROM (
'2020-12-01 00:00:00'
) TO (
'2021-01-01 00:00:00'
),
tbl_game_android_step_log_2021_01 FOR VALUES FROM (
'2021-01-01 00:00:00'
) TO (
'2021-02-01 00:00:00'
)
|
5、加入定时任务 。
到此这篇关于如何为PostgreSQL的表自动添加分区的文章就介绍到这了,更多相关PostgreSQL的表添加分区内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://www.cnblogs.com/lottu/archive/2021/01/04/14228477.html 。
最后此篇关于如何为PostgreSQL的表自动添加分区的文章就讲到这里了,如果你想了解更多关于如何为PostgreSQL的表自动添加分区的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
26
4
0
我有一台 MySQL 服务器和一台 PostgreSQL 服务器。 需要从多个表中复制或重新插入一组数据 MySQL 流式传输/同步到 PostgreSQL 表。 这种复制可以基于时间(Sync)或事
如果两个表的 id 彼此相等，我尝试从一个表中获取数据。这是我使用的代码: SELECT id_to , email_to , name_to , status_to
我有一个 Excel 工作表。顶行对应于列名称，而连续的行每行代表一个条目。 如何将此 Excel 工作表转换为 SQL 表？ 我使用的是 SQL Server 2005。 最佳答案 这取决于您使用哪
我想合并两个 Django 模型并创建一个模型。让我们假设我有第一个表表 A，其中包含一些列和数据。 Table A -------------- col1 col2 col3 col
我有两个表:table1，table2，如下所示 table1: id name 1 tamil 2 english 3 maths 4 science table2: p
关闭。此题需要details or clarity 。目前不接受答案。 想要改进这个问题吗？通过 editing this post 添加详细信息并澄清问题. 已关闭 1 年前。 Improve th
下面两个语句有什么区别？ newTable = orginalTable 或 newTable.data(originalTable) 我怀疑 .data() 方法具有性能优势，因为它在标准 AX 中
我有一个表，我没有在其中显式定义主键，它并不是真正需要的功能......但是一位同事建议我添加一个列作为唯一主键以随着数据库的增长提高性能...... 谁能解释一下这是如何提高性能的？ 没有使用索引(
如何将表“产品”中的产品记录与其不同表“图像”中的图像相关联？ 我正在对产品 ID 使用自动增量。 我觉得不可能进行关联，因为产品 ID 是自动递增的，因此在插入期间不可用! 如何插入新产品，获取产品
我有一个 sql 表，其中包含关键字和出现次数，如下所示(尽管出现次数并不重要): ____________ dog | 3 | ____________ rat | 7 | ____
是否可以使用目标表中的LAST_INSERT_ID更新源表？ INSERT INTO `target` SELECT `a`, `b` FROM `source` 目标表有一个自动增量键id，我想将其
我正在重建一个搜索查询，因为它在“我看到的”中变得多余，我想知道什么 (albums_artists, artists) ( ) does in join? is it for boosting pe
以下是我使用 mysqldump 备份数据库的开关: /usr/bin/mysqldump -u **** --password=**** --single-transaction --databas
我试图获取 MySQL 表中的所有行并将它们放入 HTML 表中: Exam ID Status Assigned Examiner
如何查询名为 photos 的表中的所有记录，并知道当前用户使用单个查询将哪些结果照片添加为书签？ 这是我的表格: -- -- Table structure for table `photos` -
我的网站都在 InnoDB 表上运行，目前为止运行良好。现在我想知道在我的网站上实时发生了什么，所以我将每个页面浏览量(页面、引荐来源网址、IP、主机名等)存储在 InnoDB 表中。每秒大约有 10
我在想我会为 mysql 准备两个表。一个用于存储登录信息，另一个用于存储送货地址。这是传统方式还是所有内容都存储在一张表中？ 对于两个表...有没有办法自动将表 A 的列复制到表 B，以便我可以引用
我不是程序员，我从这个表格中阅读了很多关于如何解决我的问题的内容，但我的搜索效果不好 我有两张 table 表 1:成员 id*| name | surname -------------------
我知道如何在 ASP.NET 中显示真实表，例如 public ActionResult Index() { var s = db.StaffInfoDBSet.ToList(); r
我正在尝试运行以下查询: "insert into visits set source = 'http://google.com' and country = 'en' and ref = '1234
我是一名优秀的程序员,十分优秀！