千贏登录千贏登录


千赢网页版

MongoDB 常用的数据备份梳理汇总

1.基于数据文件的备份

直接将原始的数据文件Copy至备份的地方,这个方法的优点是比较快,因为备份和恢复都不需要转换数据格式。缺点就是需要锁住数据库服务器,但是此方案通常备份是在从节点上进行,备份过程不影响应用的正常运行。

如果不锁住数据,经常会导致复制文件中断,另外就是保证数据文件的一致性状态。

主要命令:

加锁的命令--db.fsyncLock()

注意:锁之后的任何尝试写入都会被阻止,而且读操作也会被阻止。新的连接尝试也会被阻止。

解锁的命令--db.fsyncUnlock()

注意:这仅仅是个解锁请求,数据库可能无法正确解锁。运行db.currentOp方法可以验证数据库是否还处于锁状态。

2.mongodump

mongodump导出的是bson格式,是二进制形式。此工具对于恢复整个实例、单个数据库、指定集合都十分有用。他们可以用于备份实时运行的数据库(无需锁住或者关闭数据库)。

mongorestore用于读取恢复这些文件。

部分主要命令参数 如下:

 -h [ --host ]   --数据库所在主机IP地址;

–port           --mongodb使用的端口号;

-u [ --username ]--登陆用户名;

-p [ --password ] --用户的登陆密码;

-d [ --db ]  --准备备份的数据库;

-c [ --collection ] --准备备份的集合;

-o [ --out ] --导出数据将要保存在的目录;

-q [ --query ] --指定备份的查询条件;

–oplog --快照式备份,保证数据的时间一致性和完整性;

--authenticationDatabase --用户的登录验证数据库

--gzip --备份文件压缩

例子:

将端口为37017的MongoDB数据备份到 /opt/backup/mongodump-2011-10-24 路径下,登入验证需输入密码。

mongodump --host mongodb1.example.net --port 37017 --username user --password "pass" --out /opt/backup/mongodump-2011-10-24

 

3.mongoexport 

mongoexport命令行用于数据的导出,默认导出的文件格式为JSON格式,还支持csv格式。

部分主要命令参数 如下:

-h,--host :代表远程连接的数据库地址,默认连接本地Mongo数据库;

--port:代表远程连接的数据库的端口,默认连接的远程端口27017;

-u,--username:代表连接远程数据库的账号,如果设置数据库的认证,需要指定用户账号;

-p,--password:代表连接数据库的账号对应的密码;

-d,--db:代表连接的数据库;

-c,--collection:代表连接数据库中的集合;

-f, --fields:代表集合中的字段,可以根据设置选择导出的字段;

--type:代表导出输出的文件类型,包括csv和json文件;

-o, --out:代表导出的文件名;

-q, --query:代表查询条件;

 

与mongodump相比,从功能上来讲,mongoexport可以细化到集合中的字段,可以根据需要只导出指定的字段。从文件格式上来看,不再是Bson格式的文件,而是直接可读的Json或CSV文件,容易被第三方程序读取利用。缺点就是备份性能减低了。

 

在开发的数据变更需求中,有时候 考虑到 数据的重要性和可溯性,部分需求会要求我们将数据临时备份到一个集合中,便于回滚和查询比较。这时候登录到服务器上,根据条件执行mongoexport 导出和 mongoimport 再次导入, 虽然可以实现备份的需求,但这有一个前提要求,就是有服务器登入和执行的权限,且过程还相对繁琐。如果MongodB部署在云上,上面mongoexport的备份方案就歇菜了,我们不能登入云库的物理机。此外,云上数据库虽然还可以还原实例,但代价相对较大。 

相信这时候,我们会不由自主的怀念 SQL Server / MySQL 的   insert into XXXX_bak  select * from XXXX。如果 MongoDB也有这种轻量级的备份该多好啊。

其实,在MongoDB的命令中,也有类似功能代码。在这里我们,我们讲解下Cursor游标和聚合框架的$out。

 

4.cursor.forEach()

Cursor,又称游标。

游标不是查询结果,可以理解为数据在遍历过程中的内部指针,其返回的是一个资源,或者说数据读取接口.客户端通过对游标进行一些设置就能对查询结果进行有效地控制,如可以限制查询得到的结果数量、跳过部分结果、或对结果集按任意键进行排序等。

db.collection.find()可以实现根据条件查询和指定使用投影运算符返回的字段(省略此参数返回匹配文档中的所有字段)。并返回到匹配文档的游标,可以随意修改查询限制、跳跃、和排序顺序的功能。

游标有一个重要的迭代函数---cursor.forEach(回调函数),允许我们自定义回调函数来逐个处理每个单元.

基本语法格式:

db.collection.find().forEach(<function>)

 

例如,我们需要修改集合QQOrder中创建时间为指定时间,状态为10的订单,因为订单数据不能轻易修改,除流程控制外,要求DBA在修改前备份一下。

以下代码是将符合条件的数据备份至QQOrder_bak集合中。

db.QQOrder.find({"Status" : "10","Rec_CreateTime" : {$gt:ISODate("2018-11-18T15:37:20.740+08:00"),$lt:ISODate("2018-11-20T15:37:20.740+08:00")}}).forEach( function(x){ db.QQOrder_bak.insert(x) } )

 

5.聚合框架--$out

 我们知道在聚合框架中有一个步骤--$out,可以把管道的结果写入某个集合中(2.6版新增)。

使用$out操作符,可以自动把聚合管道的输出结果保存到集合里。如果集合不存在的话,则$out操作符将会创建一个集合,或者如果存在就会完全取代现有的集合。此外,如果创建新的集合失败的话,MongoDB不会修改之前的集合。

所以,针对上面的需求,使用下面的代码也可以实现。

(测试过程中,将上一个案例备份集合由QQOrder_bak替换成了QQOrder_bak_2)

db.QQOrder.aggregate([{$match: {"Status" : "10","Rec_CreateTime" : {$gt:ISODate("2018-11-18T15:37:20.740+08:00"),$lt:ISODate("2018-11-20T15:37:20.740+08:00")}}},{$out:"QQOrder_bak_2"}])

需要特别注意的话,QQOrder_bak_2只可以临时存放数据,如果再次执行新的导出,会将集合中原来的数据覆盖掉。

 

以上五种备份,可以涵盖我们日常所有的备份需求了。包含 实例、库的日常灾备,也有业务需求的临时备份。

 

本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!

欢迎阅读本文章: 刘书宝

千贏客服

千赢网页版