- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章PostgreSQL实战之启动恢复读取checkpoint记录失败的条件详解由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
1、首先读取ControlFile->checkPoint指向的checkpoint 。
2、如果读取失败,slave直接abort退出,master再次读取ControlFile->prevCheckPoint指向的checkpoint 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
StartupXLOG->
|
--checkPointLoc = ControlFile->checkPoint;
|
--record = ReadCheckpointRecord(xlogreader, checkPointLoc, 1, true):
|
-- if (record != NULL){
...
}
else
if (StandbyMode){
ereport(PANIC,(errmsg(
"could not locate a valid checkpoint record"
)));
}
else
{
checkPointLoc = ControlFile->prevCheckPoint;
record = ReadCheckpointRecord(xlogreader, checkPointLoc, 2,
true
);
if (record !=
NULL
){
InRecovery =
true
;//标记下面进入recovery
}
else
{
ereport(PANIC,(errmsg(
"could not locate a valid checkpoint record"
)));
}
}
|
1、那么什么条件下读取的checkpoint记录record==NULL?
1、ControlFile->checkPoint % XLOG_BLCKSZ < SizeOfXLogShortPHD 2、ReadRecord(xlogreader, ControlFile->checkPoint, LOG, true)返回NULL 3、ReadRecord读到的record!=NULL && record->xl_rmid != RM_XLOG_ID 4、ReadRecord读到的record!=NULL && info != XLOG_CHECKPOINT_SHUTDOWN && info != XLOG_CHECKPOINT_ONLINE 5、ReadRecord读到的record!=NULL && record->xl_tot_len != SizeOfXLogRecord + SizeOfXLogRecordDataHeaderShort + sizeof(CheckPoint) 。
2、ReadRecord函数返回NULL的条件 。
1
2
3
4
5
6
7
8
9
|
ReadRecord(xlogreader, ControlFile->
checkPoint
, LOG,
true
)
|
--record = XLogReadRecord(xlogreader, ControlFile->checkPoint, &errormsg);
|
-- 2.1 record==NULL && !StandbyMode
|
-- 2.2 record!=NULL && !tliInHistory(xlogreader->latestPageTLI, expectedTLEs)
/*
-----
note:只要读取了一页xlog,就会赋值为该页第一个记录的时间线
XLogReaderValidatePageHeader
-->xlogreader->latestPageTLI=hdr->xlp_tli;
------*/
|
3、XlogReadRecord读取checkpoint返回NULL的条件?
XLogReadRecord(xlogreader, ControlFile->checkPoint, &errormsg) targetPagePtr = ControlFile->checkPoint - (ControlFile->checkPoint % XLOG_BLCKSZ); targetRecOff = ControlFile->checkPoint % XLOG_BLCKSZ; readOff = ReadPageInternal(state,targetPagePtr, Min(targetRecOff + SizeOfXLogRecord, XLOG_BLCKSZ)); pageHeaderSize = XLogPageHeaderSize((XLogPageHeader) state->readBuf); record = (XLogRecord *) (state->readBuf + RecPtr % XLOG_BLCKSZ); total_len = record->xl_tot_len; ------------- 1、readOff < 0 2、0< targetRecOff < pageHeaderSize 3、(((XLogPageHeader) state->readBuf)->xlp_info & XLP_FIRST_IS_CONTRECORD) && targetRecOff == pageHeaderSize page头有跨页的record并且checkpoint定位的偏移正好在页头尾部 4、targetRecOff <= XLOG_BLCKSZ - SizeOfXLogRecord && !ValidXLogRecordHeader(state, ControlFile->checkPoint, state->ReadRecPtr, record,randAccess) ---(record->xl_tot_len < SizeOfXLogRecord || record->xl_rmid > RM_MAX_ID || record->xl_prev != state->ReadRecPtr) 5、targetRecOff > XLOG_BLCKSZ - SizeOfXLogRecord && total_len < SizeOfXLogRecord 6、total_len > state->readRecordBufSize && !allocate_recordbuf(state, total_len) 一旦该记录损坏,total_len的长度非常大的话,就需要allocate_recordbuf扩展state->readbuf,可能因此分配失败abort 记录的checksum需要等待全部读取完整记录后才校验 ------------- 。
3、ReadPageInternal返回的readOff返回小于0的条件 。
1
|
ReadPageInternal(state,targetPagePtr,
Min
(targetRecOff + SizeOfXLogRecord, XLOG_BLCKSZ))
|
1、第一次read wal文件,readLen = state->read_page:读取第一页。readLen < 0 。
2、readLen>0 && !XLogReaderValidatePageHeader(state, targetSegmentPtr, state->readBuf) -- 。
3、读取checkpoint所在页readLen = state->read_page: readLen < 0 。
4、readLen > 0 && readLen <= SizeOfXLogShortPHD 。
5、!XLogReaderValidatePageHeader(state, pageptr, (char *) hdr) 。
4、XLogPageRead何时返回值<0 ?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
/*
1、WaitForWALToBecomeAvailable
open
失败
2、lseek 失败 && !StandbyMode
3、
read
失败 && !StandbyMode
4、校验page头失败 && !StandbyMode
如果是StandbyMode,则会重新retry->WaitForWALToBecomeAvailable,切换日志源进行
open
*/
!WaitForWALToBecomeAvailable(targetPagePtr + reqLen,private->randAccess,1,targetRecPtr)//
open
|
-- return -1
readOff = targetPageOff;
if (lseek(readFile, (off_t) readOff, SEEK_SET) < 0){
!StandbyMode::
return
-1
}
if (
read
(readFile, readBuf, XLOG_BLCKSZ) != XLOG_BLCKSZ){
!StandbyMode::
return
-1
}
XLogReaderValidatePageHeader(xlogreader, targetPagePtr, readBuf)
!StandbyMode::
return
-1
|
5、WaitForWALToBecomeAvailable何时返回false?
--XLOG_FROM_ARCHIVE | XLOG_FROM_PG_WAL 1、先XLogFileReadAnyTLI open日志: 1、遍历时间线列表里的每一个时间线,从最新的开始 2、当读取checkpoint的时候,source是XLOG_FROM_ANY 3、先找归档的日志进行open;如果open失败再找WAL日志进行open 4、如果都没有open成功,则向前找时间线,open前一个时间线segno和文件号相同的文件进行open 5、open成功后expectedTLEs被赋值为当前时间线列表的所有值 2、如果open失败,则切换日志源:XLOG_FROM_ARCHIVE | XLOG_FROM_PG_WAL -> XLOG_FROM_STREAM 3、切换日志源后,XLOG_FROM_ARCHIVE | XLOG_FROM_PG_WAL 则: slave && promote :return false !StandbyMode:return false --XLOG_FROM_STREAM 1、!WalRcvStreaming()即receiver进程挂了,切换日志源 2、CheckForStandbyTrigger()切换日志源 3、XLOG_FROM_STREAM->XLOG_FROM_ARCHIVE 。
总结 。
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对我的支持.
原文链接:http://blog.51cto.com/yanzongshuai/2154969 。
最后此篇关于PostgreSQL实战之启动恢复读取checkpoint记录失败的条件详解的文章就讲到这里了,如果你想了解更多关于PostgreSQL实战之启动恢复读取checkpoint记录失败的条件详解的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我在 eventhub 中遇到了 Blob 存储检查点问题。如果我在获取消费者客户端时没有设置 checkpoint_store,我的应用程序运行正常。每当我尝试设置 checkpoint_store
当它说时,辅助名称节点检查点每小时(fs.checkpoint.period 以秒为单位)或如果编辑日志已达到 64 MB(fs.checkpoint.size 以字节为单位)则更早?究竟是什么意思?
我正在运行 PostgreSQL 服务器并将 shared_buffers 限制为 4GB。 当我在数据库中插入大量记录时,检查点进程开始消耗 RAM。即使在一天后,此过程既不会结束也不会减少 RAM
我已经用 sc.setCheckpointDir 设置了检查点目录方法。 /checkpointDirectory/ 然后我创建了一个 rdd 的检查点:rdd.checkpoint()在目录中,我现
我建立了自己的卷积神经网络,在其中跟踪所有可训练变量的移动平均值(tensorflow 1.0): variable_averages = tf.train.ExponentialMovingAver
我们有一个强大的 Postgres 服务器(64 核,384 GB RAM,16 个 15k SAS 驱动器,RAID 10),并且在一天中我们多次重建几个写入密集型的大型数据集。 Apache 和
我需要以编程方式获取不依赖于目录列表和文件扩展验证的现有检查点列表,如果您键入: tf.train.get_checkpoint_state('checkpoints') 您可以看到已打印此列表,但我
我一直在到处寻找这个问题的答案,但无济于事。我希望能够运行我的代码并将变量存储在内存中,以便我可以设置一个“检查点”,我可以在将来运行它。原因是我有一个相当昂贵的函数,它需要一些时间来计算(以及用户输
作为我的问题的序言,让我提供一些背景信息:我目前正在研究一个包含许多不同步骤的数据管道。每一步都可能出错,而且很多都需要一些时间(不是很多,但在几分钟的数量级)。 因此,管道目前受到人工的严格监督。分
本文整理了Java中org.apache.flink.runtime.checkpoint.ZooKeeperCompletedCheckpointStore类的一些代码示例,展示了ZooKeeper
本文整理了Java中org.apache.flink.runtime.checkpoint.ZooKeeperCheckpointIDCounter类的一些代码示例,展示了ZooKeeperCheck
本文整理了Java中org.apache.flink.runtime.checkpoint.ZooKeeperCheckpointRecoveryFactory类的一些代码示例,展示了ZooKeepe
根据 this question和我读过的文档,Spark Streaming 的 foreachRDD(someFunction) 将让 someFunction 本身仅在驱动程序进程中执行,但如果
我正在使用简单的猫与狗数据集在 Google Colab 上尝试新添加的 TPU 支持。 在创建了一个简单的 CNN 之后,我尝试将模型导出到 TPU。但它因错误而失败 TypeError: Chec
我正在尝试在tensorflow-serving中使用重新训练的inception-v3模型。但看来我必须提供一个“检查点”。我想知道如何获得这些“检查点”? retrain.py 返回一个 retr
所以我有一个基于 census tutorial 的 ML 引擎包我尝试使用 --min-eval-Frequency 标志每 N 个步骤执行一次评估,但我不断在 stackdriver 日志中收到消
我可以通过以下方式在检查点( https://www.tensorflow.org/beta/guide/checkpoints#manually_inspecting_checkpoints )中保
我刚刚在 IndoorAtlas 上进行了分析,并使用 ios SDK 尝试了示例应用程序。当我四处走动时,我在创建的平面图中更新了我的位置。 我想知道当我到达我在楼层内创建检查点的位置时应该如何接收
我正在训练一个 tensorflow 模型,在每个 epoch 之后我保存模型状态并 pickle 一些数组。到目前为止,我的模型做了 2 个时期,保存状态的文件夹包含以下文件: checkpoint
您好,我正在尝试运行一个经常因 StackoverflowError 而失败的长 sparkjob。该作业读取一个 parquetfile 并在 foreach 循环中创建一个 rdd。在做了一些研究
我是一名优秀的程序员,十分优秀!