mongodb增量/全量备份脚本的实现详解-6ren

mongodb增量/全量备份脚本的实现详解

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章mongodb增量/全量备份脚本的实现详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

前言。

mongodb备份脚本，可以全量或增量进行备份，两年前所写，目前网上mongodb备份相关的脚本也还是很少。下面话不多说了，来一起看看详细的介绍吧。

功能。

定期对mongodb数据库数据进行全量备份或增量备份（副本集架构），并可以压缩上传到阿里云oss(本地会先生成压缩包，可以设置不上传oss).

脚本运行环境。

使用python语言编写，需安装python，pymongo和mongodb shell客户端（测试时使用python 2.7.6，pymongo 3.0.3和mongodb shell 2.0.4）.

脚本部署步骤。

1. 将脚本放到一台linux主机。

2. 如果是增量备份，创建mongodb 备份角色用户或更高权限的admin库用户。（导出时会先切换到admin库来验证权限，需有查询local库，mongodump local库和mongodump目标库的权限）。

 
    ? 
   
         use admin 
        
         db.addUser( {  
         user 
         :  
         "xxxxx" 
         , 
        
         pwd:  
         "xxxxx" 
         , 
        
         roles: [  
         "backup" 
         ] 
        
         } )

3. 编辑config.properties，修改oss、mongodb连接等配置信息。

 
    ? 
   
         ## 阿里云oss 连接配置 
        
         endpoint= oss.aliyuncs.com 
        
         accessKeyId = xxxxxxx 
        
         accessKeySecret = xxxxxxx 
        
         bucket = db-backup 
        
         ## mongodb 连接配置 
        
         # 建议用从库的地址，减少对主库压力 
        
         db_host= localhost 
        
         db_port= 27017 
        
         # 如果是增量备份方案，为步骤2中的创建的用户，或更高权限的admin用户；如果是全量备份方案，则只需有目标库的操作权限 
        
         db_user= testb 
        
         db_passwd= testb 
        
         # 目标库 
        
         db_name= che 
        
         # 备份到本地的临时目录  
        
         db_backup_root_path=  
         /temp/backup/ 
        
         # 如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径 
        
         mongo_shell_path=  
         /dev/hanxuetong/mongodb/mongodb-linux-x86_64-3 
         .0.6 
         /bin/ 
        
         # 增量备份还是全量备份 1: 增量备份 0:全量备份 
        
         is_inc_backup=1 
        
         # 每多少天进行一次全量备份 
        
         full_backup_period=7 
        
         # 是否上传到oss，如果 1 ，上传成功后会删除本地备份文件；0:不上传到oss 
        
         is_upload_to_oss= 0

4. 将start.py加入linux定时任务。crontab任务配置如 0 4 * * * python /xxx/start.py >> /xxx/xxx.log 2>&1 。

增量时恢复步骤:

1. 创建mongodb 具有applyOps权限的角色以及用此角色的用户。（需有执行 mongorestore --oplogReplay的用户权限）。

 
    ? 
   
         use admin 
        
         db.createRole( 
        
         { 
        
         role:  
         "applyOpsRole" 
         , 
        
         privileges 
         : [ 
        
         { resource: { anyResource:  
         true 
         }, actions: [  
         "anyAction" 
         ] } 
        
         ], 
        
         roles: [] 
        
         } 
        
         ) 
        
         db.addUser( {  
         user 
         :  
         "xxxx" 
         , 
        
         pwd:  
         "xxxx" 
         , 
        
         roles: [  
         "applyOpsRole" 
         ] 
        
         } )

2. 修改 restore_inc.py里的配置。

 
    ? 
   
         ## 阿里云oss 配置 
        
         endpoint 
         = 
         "oss.aliyuncs.com" 
        
         accessKeyId 
         = 
         "xxxxxxx" 
        
         accessKeySecret 
         = 
         "xxxxxxx" 
        
         bucket 
         = 
         "db-backup" 
        
         ## mongodb导入的配置 
        
         db_host 
         = 
         "localhost" 
        
         db_port 
         = 
         27017 
        
         # 步骤1创建的用户 
        
         db_user 
         = 
         "testr" 
        
         db_passwd 
         = 
         "testr" 
        
         db_name 
         = 
         "che" 
        
         # recent circle backup direactory on oss 最新备份文件的周期名，即备份临时目录中mongodb_inc_backup_info.json的last_circle_backup_dir_name 或 oss中文件夹名 
        
         last_circle_backup_dir_name 
         = 
         "mongodb_cycle_backup_20151124141133" 
        
         # 从oss上下载到本地的临时目录 
        
         restore_local_temp_path 
         = 
         "H:\\pythoncode\\temp\\restore\\" 
        
         # 如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径 
        
         mongo_shell_path 
         = 
         "/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/" 
        
         # backup file has download to local ? if True,will not download backup files from oss 
        
         # 是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有 
        
         has_download_to_local 
         = 
         False 
        
         # 恢复时是否先删除旧的数据库 
        
         is_drop_old_restore 
         = 
         True

3. 导入期间停止mongodb写入。

4. 执行 restore_inc.py 。

全量时恢复步骤:

1. 修改 restore_full.py里的配置。

 
    ? 
   
         ## 阿里云oss 配置 
        
         endpoint 
         = 
         "oss.aliyuncs.com" 
        
         accessKeyId 
         = 
         "xxxxxxx" 
        
         accessKeySecret 
         = 
         "xxxxxxx" 
        
         bucket 
         = 
         "db-backup" 
        
         ## mongodb导入的配置 
        
         db_host 
         = 
         "localhost" 
        
         db_port 
         = 
         27017 
        
         # 数据库对应的用户 
        
         db_user 
         = 
         "test" 
        
         db_passwd 
         = 
         "test" 
        
         db_name 
         = 
         "che" 
        
         # recent circle backup direactory on oss 最新备份文件的周期名， oss 上存储的文件名称是 last_circle_backup_dir_name+last_full_backup_file_suffix 
        
         last_circle_backup_dir_name 
         = 
         "mongodb_cycle_backup_20151124141133" 
        
         last_full_backup_file_suffix 
         = 
         ".tar.gz" 
        
         # 备份的目录，实际全量备份的路径为 restore_local_temp_path+last_circle_backup_dir_name+db_name 
        
         restore_local_temp_path 
         = 
         "H:\\pythoncode\\temp\\restore\\" 
        
         # 如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径 
        
         mongo_shell_path 
         = 
         "/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/" 
        
         # backup file has download to local ? if True,will not download backup files from oss 
        
         # 是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有 
        
         has_download_to_local 
         = 
         False 
        
         # 恢复时是否先删除旧的数据库 
        
         is_drop_old_restore 
         = 
         True

2. 执行 restore_full.py 。

相关

增量备份实现原理。

一个周期内（如一星期）先备份一次全量数据库，然后后面每次备份上次记录点到最新时间内的oplog文件。 Oplog 记录了MongoDB数据库的更改操作信息，其保存在local库的oplog.rs表，在集群架构才存在，单机不会有，故增量备份不能在单机下使用。从库是通过异步复制主库的Oplog文件，从而达到与主库的同步。 oplog有大小限制，超过指定大小，新的记录会覆盖旧的操作记录.

全量脚本执行时的流程。

备份mongodb数据库到本地。

进行压缩。

上传到oss 。

检验oss与本地文件的大小是否相同。

删除本地备份文件。

增量脚本执行时的流程。

读取上一个周期执行信息判断是否需要创建新的周期
获得mongodb上oplog最近记录的时间点current timestamp position
从本地读取上一次执行时mongodb的oplog时间点
dump导出全量数据或增量oplog文件到本地，增量oplog文件的导出范围是上次oplog记录点到最新时间内的oplog文件
保存步骤2获取的current timestamp position到本地，作为下一次执行步骤3中的时间点
进行压缩
上传到oss
删除本地备份文件

恢复时脚本执行的流程。

从oss上下载指定周期的备份文件到本地
对全量文件和增量oplog的zip文件进行解压
用 mongorestore对全量文件进行导入
用 mongorestore --oplogReplay 分别对各时间段的oplog文件进行导入

mongodb增量备份脚本源码地址:

https://gitee.com/passer/mongodb_backup_script 。

总结。

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我的支持.

原文链接：http://www.cnblogs.com/golook/p/9696551.html 。

最后此篇关于mongodb增量/全量备份脚本的实现详解的文章就讲到这里了,如果你想了解更多关于mongodb增量/全量备份脚本的实现详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： mongo数据集合属性中存在点号(.)的解决方法

文章推荐： mongodb如何对文档内数组进行过滤的方法步骤

文章推荐： mongodb增量备份脚本的实现和原理详解

文章推荐：如何利用MongoDB存储Docker日志详解

Powershell 脚本 - 脚本 - 我如何禁用它
我有 powershell 脚本。通过调度程序，我运行 bat 文件，该文件运行 PS1 文件。 BAT文件 Powershell.exe -executionpolicy remotesigned
Jquery - getScript 版本<脚本>..
什么更快？或者 $.getScript('../js/SOME.js', function (){ ... // with $.ajaxSetup({ cache: true });
linux - Bash 脚本 Shell 脚本
需要bash脚本来显示文件 #!/bin/bash my_ls() { # save current directory then cd to "$1" pushd "$1" >/dev/nu
ksh - Unix 脚本 - 需要提高性能的建议(shell 脚本)
我有一个输入 csv 文件，实际上我需要在输入文件中选择第 2 列和第 3 列值，并且需要转换两个值的时区(从 PT 到 CT)，转换后我需要替换转换后的时区值到文件。注意: 所有输入日期值都在太平
Bash 脚本 - 编写 init.d 脚本
我正在使用/etc/init.d/httpd 作为 init.d 脚本的模板。我了解文件中发生的所有内容，但以下行除外: LANG=$HTTPD_LANG daemon --pidfile=${pid
python - 将具有多个子选项的命令行选项传递给 python 脚本 -- shell 脚本
我有以下选择: python runscript.py -O start -a "-a "\"-o \\\"-f/dev/sda1 -b256k -Q8\\\" -l test -p maim\""
linux - 用于重命名文件的 Shell 脚本 - Shell 脚本
我对 shell 脚本完全陌生，但我需要编写一个 shell 脚本来检查文件是否存在，然后移动到另一个位置这是我写的: 一旦设备崩溃，我就会在/storage/sdcard1/1 中收集日志 #!/
linux - Bash 脚本 - Bash 脚本 - 编辑文件中文本的行
我正在使用 bash 脚本从文本文件中读取数据。数据: 04:31 Alex M.O.R.P.H. & Natalie Gioia - My Heaven http://goo.gl/rMOa2q
php - 按下按钮运行 php 脚本，该脚本会回显 javascript 脚本
这是单击按钮时运行的 javascript 的结尾 xmlObj.open ('GET', /ajax.php, true); xmlObj.send (''); } 所以这会执行根目录中的php脚本
linux - 重新激活 python 脚本 - Linux bash 脚本
关闭。这个问题需要debugging details .它目前不接受答案。编辑问题以包含 desired behavior, a specific problem or error, and th
python - Nodejs 脚本 fs.createReadStream 到 Python 脚本
我需要将文件转换为可读流以通过 api 上传，有一个使用 fs.createReadStream 的 Node js 示例。任何人都可以告诉我上述声明的 python 等价物是什么？例子 const
python - 从 shell 脚本 cron 调用 python 脚本
我有一个 shell 脚本 cron，它从同一目录调用 python 脚本，但是当这个 cron 执行时，我没有从我的 python 脚本中获得预期的输出，当我手动执行它时，我的 python 脚本的
javascript - 安全的 ajax 脚本(javascript 请求的 PHP 脚本)
如何使 XMLHttpRequest (ajax) 调用的 php 脚本安全。我的意思是，不让 PHP 文件通过直接 url 运行，只能通过脚本从我的页面调用(我不想向未登录的用户显示数据库结果，并
脚本 block 错误中的经典 asp 脚本 block 中的 javascript
我正在尝试添加以下内容我正在使用经典的 asp。但我不断收到的错误是“一个脚本 block 不能放在另一个脚本 block 内。”我尝试了此处的 document.write 技术:Javasc
php - 如何从一个 PHP 脚本(如批处理文件)中运行多个 PHP 脚本？
如何从另一个 PHP 脚本(如批处理文件)中运行多个 PHP 脚本？如果我了解 include 在做什么，我认为 include 不会起作用；因为我正在运行的每个文件都会重新声明一些相同的函数等。我想
html - 如何从 HTML5 脚本/文件/页面调用 Lua 脚本
我想创建具有动态内容的网页。我有一个 HTML 页面，我想从中调用一个 lua 脚本如何调用 lua 脚本？ ? ？从中检索数据？我可以做类似的事情吗: int xx = 0; xx
jquery - 表格行不会自动滚动。脚本 1 滚动，脚本 2 不滚动。为什么？
我删除了我的第一个问题，并重新编写了更多细节和附加 jSfiddle domos。我有一个脚本，它运行查询并返回数据，然后填充表。表中的行自动循环滚动。所有这些工作正常，并通过使用以下代码完成。然而
javascript - amp-script 未找到脚本哈希。 amp-脚本[脚本 ="hello-world"]
我尝试使用 amp 脚本，但收到此错误: “[amp-script] 脚本哈希未找到。amp-script[script="hello-world"].js 必须在元[name="amp-script
java - 从 Java 执行 Shell 脚本，具有读取操作的 Shell 脚本
我有一个读取输入的 Shell 脚本 #!/bin/bash echo "Type the year that you want to check (4 digits), followed by [E
arrays - Redis Lua 脚本 - 如何将数组作为参数传递给 nodejs 中的 Lua 脚本？
我正在从 nodejs 调用 Lua 脚本。我想传递一个数组作为参数。我在 Lua 中解析该数组时遇到问题。下面是一个例子: var script = 'local actorlist = ARGV

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

mongodb增量/全量备份脚本的实现详解