- 使用 Spring Initializr 创建 Spring Boot 应用程序
- 在Spring Boot中配置Cassandra
- 在 Spring Boot 上配置 Tomcat 连接池
- 将Camel消息路由到嵌入WildFly的Artemis上
**摘要:**本文从分区自动管理的作用、用法、原理等方面进行介绍。
本文分享自华为云社区《GaussDB(DWS) 分区自动管理介绍》,作者: Attila。
对于分区列为时间的分区表,分区自动管理功能可以自动创建新分区和删除过期分区,降低分区表的维护成本,改善查询性能。下面将从分区自动管理的作用、用法、原理等方面进行介绍。
为了便于查询和维护数据,客户通常使用分区列为时间的分区表来存储时间相关的数据,例如电商的订单信息、 物联网采集的实时数据。这些时间相关的数据导入分区表时,需要保证分区表要有对应时间的分区,由于普通的分区表不会自动创建新的分区和删除过期分区,所以维护人员需要定期创建新分区和删除过期分区,提高了运维成本。
为解决上述问题,GaussDB(DWS) 引入了分区自动管理特性。使用者可通过设置表级参数period、ttl开启分区自动管理功能,使分区表可以自动创建新分区和删除过期分区,降低分区表的维护成本,改善查询性能。其中,period既表示新分区的时间范围,也表示自动创建新分区和自动删除过期分区的周期;ttl表示分区过期时间。period和ttl的值均为Interval类型,例如’1 hour’、‘1 day’、‘1 week’、‘1 month’、‘1 year’、 '1 month 2 days 3 hours’等。
分区自动管理每隔period的时间就会自动创建分区,每次创建一个或多个时间范围为period的新分区,以推进最大的分区边界时间,保证其大于nowTime+30*period。由于每次创建分区时,都动态地为未来时间创建了预留分区,所以只要有一次自动创建新分区成功,就可以保证在未来30个period的时间之内,都不会出现实时数据因为没有对应分区而导入失败的情况。
边界时间早于nowTime-ttl的分区被认为是过期分区。分区自动管理每隔period的时间就会遍历检测所有分区,并删除其中的过期分区,如果所有的分区都是过期分区,则保留一个分区,并truncate该表。
在使用分区管理功能时,需要满足如下约束:
1)不支持在小型机、加速集群、单机集群上使用。
2)不支持在8.1.3版本以下的版本中使用。
3)仅支持行存范围分区表、列存范围分区表、时序表以及冷热表。
4)分区键唯一并且类型仅支持timestamp、timestamptz、date类型。
5)不支持存在maxvalue分区。
6)(nowTime - boundaryTime) / period需要小于分区个数上限,其中nowTime为当前时间,boundaryTime为现有分区中最早的分区边界时间。
7)period、ttl取值范围为1 hour ~ 100 years。另外,在兼容Teradata或MySQL的数据库中,分区键类型为date时,period不能小于1 day。
8)表级参数ttl不支持单独存在,必须要提前或同时设置period,并且要大于或等于period。
9)集群在线扩容期间,自动增加分区会失败,但是由于每次增分区时,都预留了足够的分区,所以不影响使用。
分区管理功能是和表级参数period、ttl绑定的,只要成功设置了表级参数period,即开启了自动创建新分区功能;成功设置了表级参数ttl,即开启了自动删除过期分区功能。第一次自动创建分区或删除分区的时间为设置period或ttl后30秒。
有两种开启分区管理功能的方式,具体如下:
1)建表时指定period、ttl
该方式适用于新建分区管理表时使用。新建分区管理表有两种语法,一种是建表时指定分区,另一种是建表时不指定分区。
建分区管理表时如果指定分区,则语法规则和建普通分区表相同,唯一的区别就是会指定表级参数period、ttl,具体示例如下。在该示例中,分区过期时间为7 days,新分区的时间范围以及自动分区任务周期为1 day。
CREATE TABLE CPU1(
id integer,
IP text,
time timestamp
) with (TTL='7 days',PERIOD='1 day')
partition by range(time)
(
PARTITION P1 VALUES LESS THAN('2022-01-05 16:32:45'),
PARTITION P2 VALUES LESS THAN('2022-01-06 16:56:12')
);
建分区管理表时可以只指定分区键不指定分区,此时将创建两个默认分区,这两个默认分区的分区时间范围均为period。其中,第一个默认分区的边界时间是大于当前时间的第一个整时/整天/整周/整月/整年的时间,具体选择哪种整点时间取决于period的最大单位;第二个默认分区的边界时间是第一个分区边界时间加period。假设当前时间是2022-02-17 16:32:45,各种情况的第一个默认分区的分区边界选择如下表:
建表时不指定分区的具体示例如下:
CREATE TABLE CPU2(
id integer,
IP text,
time timestamp
) with (TTL='7 days',PERIOD='1 day')
partition by range(time);
2)使用alter table set的方式设置period、ttl
该方式适用于给一张满足分区管理约束的普通分区表增加分区管理功能。
假设cpu3表是一张满足分区管理约束的普通分区表,给该表增加分区管理功能的示例如下:
-- 同时开启自动创建和自动删除分区功能
ALTER TABLE cpu3 SET (PERIOD='1 day',TTL='7 days');
-- 只开启自动创建分区功能
ALTER TABLE cpu3 SET (PERIOD='1 day');
-- 只开启自动删除分区功能,如果没有提前开启自动创建分区功能,则开启失败
ALTER TABLE cpu3 SET (TTL='7 days');
修改分区管理功能主要是修改period和ttl,可以通过alter table set的方式修改。
假设cpu4表是一张分区管理表,修改其period和ttl示例如下:
-- 同时修改period
ALTER TABLE cpu4 SET (TTL='10 days',PERIOD='2 days');
使用alter table reset的方式可以删除表级参数period、ttl,进而关闭相应的分区管理功能。需要注意的是,不能在存在ttl的情况下,单独删除period。另外,时序表不支持alter table reset。
假设cpu5表是一张具有period和ttl的分区管理表,关闭其分区管理功能示例如下:
-- 同时关闭自动创建和自动删除分区功能
ALTER TABLE cpu5 RESET (PERIOD,TTL);
-- 只关闭自动删除分区功能
ALTER TABLE cpu5 RESET (TTL);
-- 只关闭自动创建分区功能,如果该表有ttl参数,则关闭失败
ALTER TABLE cpu5 RESET (PERIOD);
分区管理的实现依托了pg_task自动调度任务,即设置period/ttl时,向scheduler.pg_task表中插入了自增/自减分区管理任务,其中自增分区任务的任务内容为proc_add_partition(relname, period)函数,自减分区任务为proc_drop_partition(relname, ttl)函数,两种任务的调用周期均为period,第一次执行时间为任务插入时间后30秒。
使用管理员权限,可以查看scheduler.pg_task表中任务具体的信息,例如任务内容(what字段)、任务执行周期(interval字段)、任务上一次成功执行的时间(actual_end_time字段)、任务状态(task_status字段)。当自动调度任务执行失败时,用户可以复制scheduler.pg_task表中分区管理任务的what字段,然后手动执行该任务。查看scheduler.pg_task表以及手动执行自增分区任务示例如下:
my_database=# SELECT what,interval FROM scheduler.pg_task;
what | interval
--------------------------------------------------------------+----------
call proc_add_partition('public.cpu1', interval '1 day'); | 1 day
call proc_drop_partition('public.cpu1', interval '7 days'); | 1 day
(2 rows)
my_database=# call proc_add_partition('public.cpu1', interval '1 day');
proc_add_partition
--------------------
(1 row)
该函数用于自动添加分区,具体实现流程如下图。函数运行时,会在分区表现有分区边界的基础上,创建多个时间范围为boundaries_interval的新分区,直到新的boundary距离当前时间大于29个boundaries_interval,之后再额外多创建一个分区,保证该函数运行时,一定会创建一个新分区 。
该函数用于自动删除过期分区。函数运行时,会遍历分区表所有分区,并删除其中boundary早于(now_time - older_than)的分区;如果所有分区都满足删除条件,则保留一个分区,并truncate该表。
我会尽可能地解释我正在做的事情,以获得最好的可能的建议/解决方案。这一切都是在 java 中完成的。 我的客户有一个基于 SWING 的桌面应用程序,它将使用 WebStart 加载。我被指派为用户帐
看来这个page包含 Azure CLI 支持的与 Azure API 管理相关的所有功能。但它没有展示如何使用 Azure CLI 管理用户、产品、证书、订阅和 API 等实体。 Azure CLI
我设置了一个 Hadoop 1.2.x 版本,双节点集群。第一节点(NameNode、Jobtracker)和第二节点(Secondary NameNode、Datanode、TaskTracker)
对于内容驱动的网站,设计好坏的关键是关系型数据库。在这个教程中,我们已经使用了MySQL关系型数据库管理系统(RDBMS)建立了我们的数据库。对于网站的开发者来说,MySQL是一个较受欢迎的选择,这
在尝试运行MariaDB之前,首先确定其当前状态,运行或关闭。 有三个选项用于启动和停止MariaDB – 运行mysqld(MariaDB脚本)。 运行mysqld_safe启动脚本。
我在管理界面中遇到 StackedInlines 前缀的问题。我会尝试发布所有必要的代码。 models.py(简要) ##### Base classes class BaseItem(models
我是新来的。到目前为止,我一直在使用 MVC 模型并使用基本的 session 管理模型,即在 session 中存储一个 token 并检查每个请求。 我正在尝试对lift做同样的事情,但我的 se
我在 win 服务中使用 NHiberante。有时我得到 System.ObjectDisposedException: Session is closed! Object name: 'ISess
我正在尝试使用 HtmlUnit 登录 Facebook 页面并查看其 HTML 内容。我正在尝试通过 HtmlUnit 填写登录凭据,但在单击提交按钮时我没有看到正在执行的 session 。 在
我正在为一个相当大的项目开发一个带有 reactjs 的前端,该项目有两个主要接口(interface)。主站点的前端和管理员的前端。 我应该将它们开发为两个不同的项目还是 reactjs 中的一个项
短版 我有一个使用插件基础结构的应用程序。插件具有可配置的属性,可帮助它们了解如何完成工作。插件按配置文件分组以定义如何完成任务,配置文件存储在由 DataContractSerializer 序列化
如何管理 iPhone 应用程序中的用户 session ?我在应用程序的第一页上从用户那里获取了用户名和密码。用户可以随时注销。如何像其他 Web 应用程序一样在 iPhone 应用程序中存储 se
我正在使用 Azure API 管理,其中包含第三方论坛 (Discourse) 的链接。 api管理提供的默认登录系统用于注册用户。我想知道是否可以对 api 管理和论坛使用单点登录,这样用户就不必
我正在使用 Wordpress 建立一个网站,并且我想利用它的 session 。但我没有找到任何插件,甚至文档。在我开始破解之前有什么建议或引用吗? 注意:我问的是 WP 是否以及如何使用标准 PH
我已阅读《Azure in Action》一书中的以下内容:“在 Windows Azure 中,状态服务器或进程外 session 状态提供程序,不支持” 谁能告诉我为什么不支持这个。他们在书中没有
我有一个内联表单集,我想排除一些模型对象在表单集中显示。 例如。模型 B 具有模型 A 的外键,因此它是 1:n(A 对象有许多 B 对象)关系。现在在 A 管理编辑页面上,我已经获得了 B 的内联。
我正在开发一个基于 session 的项目。我在想,与银行类似,我会创建一张支票并为用户提供阻止 session 超时的能力。 我正在考虑创建一个 setInterval 来检查需要身份验证的空白页面
我正在为一位拥有 Magento 商店的客户工作。里面塞满了产品,但这些产品的名称有点乱。他并没有坚持一种命名约定,而是多年来使用了不同的约定。因此,每当他使用“管理”->“管理产品”部分中的“名称”
我使用大约十几个 XSLT 文件来提供大量输出格式。目前,用户必须知道导出的文件格式的扩展名,例如RTF、HTML、TXT。 我还想使用参数来允许更多选项。如果我可以将元数据嵌入 XSL 文件本身,那
我已阅读《Azure in Action》一书中的以下内容:“在 Windows Azure 中,状态服务器或进程外 session 状态提供程序,不支持” 谁能告诉我为什么不支持这个。他们在书中没有
我是一名优秀的程序员,十分优秀!