个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章PostgreSQL时间线(timeline)和History File的用法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
说明:
在pg中，当我们进行了基于时间点的还原(PITR)后，数据库会启用新的时间线并继续进行操作.
但是，当我们进行基于时间点的还原后如果发现又出现错误，想要继续还原数据库该如何操作呢？如何还原到原先旧的时间线呢?
我们可以使用recovery_target_timeline参数来指定数据库还原到某一个时间线上。如果你还不清楚这个参数该如何使用，或者说压根不知道时间线是啥，那么请继续往下看.
PostgreSQL 时间线:
每当我们在数据库中完成一个事务时，所做的操作都会记录到$PGDATA/pg_wal目录下的wal日志文件中.
wal日志文件一般都是下面这种格式:
|
1
|
000000010000000000000001
|
当一个wal日志被写满后，便会创建新的wal日志000000010000000000000002，以此类推.
该文件中前8位，即：00000001表示的便是数据库的时间线.
从控制文件中也可以看到:
|
1
2
3
|
-bash-4.1$-> pg_controldata |grep TimeLineID
Latest
checkpoint
's TimeLineID: 1
Latest checkpoint'
s PrevTimeLineID: 1
|
每当我们进行基于时间点的还原后，时间线便会加1，并创建一个名为NewTimelineID.history的新文件。这个文件是干什么用的我们后面会介绍.
recovery_target_timeline是一个参数，它可以帮助我们将集群带入历史记录中的任何时间线，只要有效的基本备份和所有存档日志都到位.
我们来看看下面的例子:
首先，重新初始化一个新的数据库集群.
|
1
2
|
-bash-4.1$-> ls pg_wal
000000010000000000000001 archive_status
|
然后创建一张表并插入数据.
|
1
2
3
4
5
6
7
8
9
10
11
|
bill=#
create
table
timeline(tid
int
, remarks
varchar
(1000));
CREATE
TABLE
bill=#
insert
into
timeline
values
(
'1'
,
'This is timeline id 1'
);
INSERT
0 1
bill=#
checkpoint
;
CHECKPOINT
bill=#
select
pg_switch_wal();
pg_switch_wal
---------------
0/15D4B70
(1 row)
|
刚刚插入的数据便记录在000000010000000000000001的wal日志中.
当wal日志写到000000010000000000000005时，进行一次完整的备份，接着再产生一些新的wal日志.
|
1
2
3
4
5
6
7
8
9
10
|
-bash-4.1$ ls -rlt
total 147460
-rw
------- 1 postgres postgres 16777216 Nov 22 13:03 000000010000000000000001
-rw
------- 1 postgres postgres 16777216 Nov 22 13:03 000000010000000000000002
-rw
------- 1 postgres postgres 16777216 Nov 22 13:03 000000010000000000000003
-rw
------- 1 postgres postgres 16777216 Nov 22 13:05 000000010000000000000004
-rw
------- 1 postgres postgres 16777216 Nov 22 13:05 000000010000000000000005
-rw
------- 1 postgres postgres 337 Nov 22 13:05 000000010000000000000005.00000028.backup
-rw
------- 1 postgres postgres 16777216 Nov 22 13:06 000000010000000000000006
-rw
------- 1 postgres postgres 16777216 Nov 22 13:06 000000010000000000000007
|
可以看到，现在最新的wal日志是000000010000000000000008 。
接着插入一条新的数据.
|
1
2
3
4
|
bill=#
insert
into
timeline
values
(
'1'
,
'This is timeline id 1 after basebackup'
);
INSERT
0 1
bill=#
checkpoint
;
CHECKPOINT
|
|
1
2
3
4
|
-bash-4.1$ pg_waldump 000000010000000000000008 | grep
INSERT
rmgr: Heap len (rec/tot): 54/ 214, tx:
487, lsn: 0/08000110, prev 0/080000D8,
desc
:
INSERT
off
2 flags 0x00,
blkref #0: rel 1663/13530/16384 blk 0 FPW
|
然后再产生几个wal日志，现在的情况如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
-bash-4.1$ ls -rlt
total 311308
-rw
------- 1 16777216 Nov 22 13:03 000000010000000000000001
-rw
------- 1 16777216 Nov 22 13:03 000000010000000000000002
-rw
------- 1 16777216 Nov 22 13:03 000000010000000000000003
-rw
------- 1 16777216 Nov 22 13:05 000000010000000000000004
-rw
------- 1 16777216 Nov 22 13:05 000000010000000000000005
-rw
------- 1 337 Nov 22 13:05 000000010000000000000005.00000028.backup
-rw
------- 1 16777216 Nov 22 13:06 000000010000000000000006
-rw
------- 1 16777216 Nov 22 13:06 000000010000000000000007
-rw
------- 1 16777216 Nov 22 13:07 000000010000000000000008
-rw
------- 1 16777216 Nov 22 13:07 000000010000000000000009
-rw
------- 1 16777216 Nov 22 13:09 00000001000000000000000A
|
如下图所示:
此时，在我插入第二条数据前，我想要把数据还原到000000010000000000000007这个点.
因此我在postgresql.conf文件中将恢复目标lsn设置为“ 0/07000060”.
接着进行还原，当我们还原之后，数据库切换到了新的时间线.
除此之外还有哪些改变呢?
恢复结束是指数据库打开进行写入的点.
创建了新的时间线的 history file文件，如00000002.history.
前一个时间线上的部分WAL文件已被新时间线的ID复制.
检查点记录写在新的时间线上.
日志中会记录下列信息:
|
1
2
3
4
5
6
7
8
9
10
|
LOG: starting point-
in
-
time
recovery
to
WAL location (LSN)
"0/7000060"
LOG: restored log file
"000000010000000000000005"
from
archive
LOG: redo starts
at
0/5000028
LOG: consistent recovery state reached
at
0/5000138
LOG:
database
system
is
ready
to
accept
read
only
connections
LOG: restored log file
"000000010000000000000006"
from
archive
LOG: restored log file
"000000010000000000000007"
from
archive
LOG: recovery stopping
after
WAL location (LSN)
"0/7000060"
LOG: pausing
at
the
end
of
recovery
HINT:
Execute
pg_wal_replay_resume()
to
promote.
|
此时，PostgreSQL已在wal日志7处分支到新的时间线，并开始创建时间线ID为2的新wal日志。我们可以下wal日志目录下看到00000002.history文件.
该文件是可读文件，内容大致为:
|
1
2
3
4
|
1<parentTLI> 0/70000D8 <switchpoint>
after
LSN 0/7000060<reason>
parentTLI ID
of
the parent timeline
switchpoint XLogRecPtr
of
the WAL location
where
the switch happened
reason human-readable explanation
of
why the timeline was changed
|
接下来，我向wal日志00000002000000000000000A (0/A000060)中插入新的数据.
|
1
2
|
bill=#
insert
into
timeline
values
(
'2'
,
'This is timeline id 2 correct'
);
INSERT
0 1
|
以及另一个wal日志00000002000000000000000D（0/D000000)中插入另一条数据.
|
1
2
|
bill=#
insert
into
timeline
values
(
'2'
,
'This is timeline id 2 wrong at 0/D000000'
);
INSERT
0 1
|
这个时候，我在00000002000000000000000D的wal日志中执行了错误的操作，想要回退到时间线2的00000002000000000000000C处，那么我要如何操作呢，如果像前面一样只指定lsn那么怎么保证不会回退到时间线1中呢?
这个时候我们便可以通过指定recovery_target_timeline来实现.
在postgresql.conf文件中添加:
|
1
2
|
recovery_target_timeline =
'2'
recovery_target_lsn =
'0/0C000060'
|
接着，启动数据库，可以看到日志中:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
LOG:
database
system was interrupted;
last
known up
at
2020-11-22 13:05:01 IST
LOG: restored log file
"<span style="
color: rgb(255, 0, 0);
" data-mce-style="
color: #ff0000;
">00000002.history</span>"
from
archive
cp: cannot stat `/u02/archivelogs/00000003.history':
No
such file
or
directory
LOG: starting point-
in
-
time
recovery
to
WAL location (LSN)
"0/C000060"
LOG: restored log file
"00000002.history"
from
archive
LOG: restored log file
"<span style="
color: rgb(255, 0, 0);
" data-mce-style="
color: #ff0000;
">000000010000000000000005</span>"
from
archive
LOG: redo starts
at
0/5000028
LOG: consistent recovery state reached
at
0/5000138
LOG:
database
system
is
ready
to
accept
read
only
connections
LOG: restored log file
"000000010000000000000006"
from
archive
LOG: restored log file
"000000020000000000000007"
from
archive
LOG: restored log file
"000000020000000000000008"
from
archive
LOG: restored log file
"000000020000000000000009"
from
archive
LOG: restored log file
"00000002000000000000000A"
from
archive
LOG: restored log file
"00000002000000000000000B"
from
archive
LOG: restored log file
"<span style="
color: rgb(255, 0, 0);
" data-mce-style="
color: #ff0000;
">00000002000000000000000C</span>"
from
archive
LOG: recovery stopping
after
WAL location (LSN)
"<span style="
color: rgb(255, 0, 0);
" data-mce-style="
color: #ff0000;
">0/C000060</span>"
LOG: pausing
at
the
end
of
recovery
HINT:
Execute
pg_wal_replay_resume()
to
promote.
..
LOG: redo done
at
0/C000060
LOG:
last
completed
transaction
was
at
log
time
2020-11-22 13:15:29.696929+05:30
|
然后查询该表验证:
|
1
2
3
4
5
6
|
bill=#
select
*
from
timeline;
tid | remarks
-----+-------------------------------
1 | This
is
timeline id 1
2 | This
is
timeline id 2 correct
(2
rows
)
|
此时可以看到新建了00000003.history文件，该文件内容如下:
|
1
2
3
|
-bash-4.1$ cat 00000003.history
1 0/70000D8
after
LSN 0/7000060
2 0/C0000D8
after
LSN 0/C000060
|
我们不难发现:
history file这个文件中记录的就是这个时间线是从哪个WAL位置开始生成的.
补充：PostgreSQL promote过程 和 一主多备 时间线 无缝对接 详解 。
PostgreSQL的physical standby数据库的promote过程，数据库会在pg_xlog目录产生3个文件.
例如将备库1 promote，它将在pg_xlog目录产生如下文件:
|
1
2
3
|
A.
partial
(xlog)
NEWTL_A (xlog)
NEWTL.history (history file)
|
例如备库1当前已接收到的XLOG位置是 00000001000000000000002D 文件中的某个位置 0/2D15D7D0，现在promote它 .
将会在pg_xlog目录中产生3个文件:
|
1
2
3
4
5
|
00000001000000000000002D.
partial
00000002000000000000002D
(00000001000000000000002D.
partial
的内容会拷贝到 00000002000000000000002D)
00000002.history
1 0/2D15D7D0
no
recovery target specified
|
假设还有一个备库叫备库2，备库2如何能顺利的对接到已激活的备库1呢?
有个前提条件 。
备库2在TL1这条时间线上，还没有接收到00000001000000000000002D 这个文件.
把00000002.history拷贝到备库2的pg_xlog.
备库2会在应用完00000001000000000000002C后请求下一个时间线的 00000002000000000000002D 文件.
这样就能完美对接.
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我。如有错误或未考虑完全的地方，望不吝赐教.
原文链接：https://blog.csdn.net/weixin_39540651/article/details/111239341 。
最后此篇关于PostgreSQL时间线(timeline)和History File的用法的文章就讲到这里了,如果你想了解更多关于PostgreSQL时间线(timeline)和History File的用法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
您好，我是使用 xampp 的 PHPmyadmin 新手，没有 MYSQL 背景。当我喜欢研究它是如何工作的时，我的脑海中浮现出一个想法，它让我一周都无法休眠，因为我似乎无法弄清楚如何使用 MIN(
Go docs say (强调): Programs using times should typically store and pass them as values, not pointers.
我有一组用户在 8 月 1 日有一个条目。我想找到在 8 月 1 日有条目但在 8 月 2 日没有做任何事情的用户。 现在是 10 月，所以事件已经过去很久了。 我有限的知识说: SELECT * F
我有以下代码，主要编码和取消编码时间结构。这是代码 package main import ( "fmt" "time" "encoding/json" ) type chec
您能详细解释一下“用户 CPU 时间”和“系统 CPU 时间”吗？我读了很多，但我不太理解。 最佳答案 区别在于时间花在用户空间还是内核空间。用户 CPU 时间是处理器运行程序代码(或库中的代码)所花
应用程序不计算东西，但做输入/输出、读取文件、使用网络。我希望探查器显示它。 我希望像 callgrind 中的东西一样，在每个问题中调用 clock_gettime。 或者像 oprofile 那样
目前我的 web 应用程序接收 websocket 数据来触发操作。 这会在页面重新加载时中断，因此我需要一个能够触发特定事件的客户端解决方案。 这个想法可行吗？ 假设你有 TimeX = curre
很难说出这里问的是什么。这个问题是含糊的、模糊的、不完整的、过于宽泛的或修辞性的，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开它，visit the help center 。 已关
我有一个 Instant (org.joda.time.Instant) 的实例，我在一些 api 响应中得到它。我有另一个来自 (java.time.Instant) 的实例，这是我从其他调用中获得
如何集成功能 f(y) w.r.t 时间;即 'y'是一个包含 3000 个值和值 time(t) 的数组从 1 到 3000 不等。所以，在整合 f(y) 后我需要 3000 个值. 积分将是不确定
可以通过 CLI 创建命名空间，但是如何使用 Java SDK 来创建命名空间？ 最佳答案 它以编程方式通过 gRPC API 完成由服务公开。 在 Java 中，生成的 gRPC 客户端可以通过 W
我有一个函数，它接受 2 组日期(开始日期和结束日期)，这些日期将用于我的匹配引擎 我必须知道start_date1和end_date1是否在start_date2和end_date2内 快进:当我在
我想从 Python 脚本运行“time”unix 命令，以计算非 Python 应用程序的执行时间。我会使用 os.system 方法。有什么方法可以在Python中保存这个输出吗？我的目标是多次运
我正在寻找一种“漂亮的数字”算法来确定日期/时间值轴上的标签。我熟悉 Paul Heckbert's Nice Numbers algorithm . 我有一个在 X 轴上显示时间/日期的图，用户可以
在 PowerShell 中，您可以格式化日期以返回当前小时，如下所示: Get-Date -UFormat %H 您可以像这样在 UTC 中获取日期字符串: $dateNow = Get-Date
我正在尝试使用 Javascript 向父子窗口添加一些页面加载检查功能。 我的目标是“从父窗口”检测，每次子窗口完全加载然后执行一些代码。 我在父窗口中使用以下代码示例: childPage=wi
我正在尝试设置此 FFmpeg 命令的 drawtext 何时开始，我尝试使用 start_number 但看起来它不会成功。 ffmpeg -i 1.mp4 -acodec aac -keyint_
我收到了一个 Excel (2010) 电子表格，它基本上是一个文本转储。 单元格 - J8 具有以下信息 2014 年 2 月 4 日星期二 00:08:06 EST 单元格 - L8 具有以下信息
我收到的原始数据包含一列具有以下日期和时间戳格式的数据: 2014 年 3 月 31 日凌晨 3:38 单元格的格式并不一致，因为有些单元格有单个空格，而另一些单元格中有两个或三个字符之间的空格。所以
我想知道是否有办法在我的 Grails 应用程序顶部显示版本和构建日期。 编辑:我应该说我正在寻找构建应用程序的日期/时间。 最佳答案 在您的主模板中，或任何地方。 Server version:
我是一名优秀的程序员,十分优秀！