1 基础知识

1.1 Rsync简介

可实现全量及增量、本地或远程的数据同步备份的工具
官网:https://www.samba.org/ftp/rsync/rsync.html
相当于cp(本地复制)、scp(远程复制)、rm(删除)命令的合体但比这三个命令更优秀
既能够备份数据内容,也能够备份属性信息

1.2 Rsync优缺点:

优点:

  • 支持拷贝特殊文件如链接文件,设备等
  • 可以有排除指定文件或目录同步的功能,相当于打包命令tar的排除功能
  • 可以做到保持元文件或目录的权限、时间、软硬链接、属主、组等所有属性均不变
  • 可时间增量同步、即只同步发生变化的数据,因此数据的效率很高
  • 可以使用rcp,rsh,ssh等方式来配合传输文件达到加密传输
  • 可以通过socket(守护进程方式)传输文件和数据(服务端和客户端)
  • 支持匿名的、认证的(无需系统用户)进程模式传输,可方便安全的进行数据备份及镜像

缺点:

  • 大量小文件同步的时候,时间较长,有时候rsync进程可能会停止
  • 同步10G这样的大文时时,可能会中断,未完整同步前,是隐藏文件
  • rsync本身不对数据加密,需配合ssh等实现加密

1.3 Rsync的工作方式

  • 单个主机本地之间的数据传输(类似于cp)
  • 借助rcp,ssh等通道来传输数据(类似于scp)
  • 以守护进程(socket)的方式来传输数据(服务端和客户端)

2 普通用法

2.1 基本参数

常用参数:avz或az

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
-v	详细模式输出,传输时的进度等信息
-z 传输时进行压缩以提高传输效率。--compress-level=NUM可按级别压缩
-a 归档模式,表示以递归方式传输文件,并保持文件说有属性,等于rtopgDI
-r 对子目录以递归传递,即目录下的所有目录都同样传输,注意是小写r
-t 保持稳健时间信息
-o 保持文件属主信息
-p 保持文件权限
-g 保持文件属组信息
-P 显示同步的过程及传输的进度等信息
-D 保持设备文件信息
-l 保留软链接
-e 使用指定的shell程序替代传输用的rsh管道,如ssh
--exclude=PATTERN 指定排除不需要传输的文件模式(和tar参数一样)
--exclude-from=file 指定排除某个目录中的某个文件(和tar参数一样)
--bwlimit=RATE 限制传输时的带宽(避免全部占用完带宽)
--partial 断点续传
--delete 让目标目录和源目录数据保持一致(不一致会删除)

说明,rsync备份时,如果备份/tmp,表示备份目录名和目录下的内容,如果备份/tmp/,表示只备份目录下的内容

2.2 普通模式

本地模式语法:

1
rsync [OPTION...] 源路径 目的路径

远程模式语法:

1
2
拉: rsync [OPTION...] [远端用户@]主机名或IP:源路径 目标路径
推: rsync [OPTION...] 源路径 [远端用户@]主机名或IP:目标路径

PS1:前面的是原路径,后面的是目标路径,推和拉的区别仅仅是远端地址所在的位置
PS2:远端用户名可省略,省略代表用本机当前用户去连接

应用举例

  • 备份本机hosts文件到到tmp目录
1
rsync -avz /etc/hosts /tmp
  • 推送本机hosts文件到另外一台主机tmp目录
1
rsync -avz /etc/hosts root@172.16.1.31:/tmp/
  • 拉取远端主机hosts文件本机tmp目录
1
rsync -avz root@172.16.1.31:/etc/hosts /tmp/
  • 配合ssh加密传输数据[-e]
1
rsync -avz -e 'ssh -p 22' /etc/hosts root@172.16.1.31:/tmp/
  • 同步时排除某些文件[–exclude]
1
2
3
4
rsync -avz --exclude=a.txt /backup/ root@172.16.1.41:/tmp/
rsync -avz --exclude-from=paichu.txt /backup/ root@172.16.1.41:/tmp/
--exclude参数使用相对路径,可以排除单个和多个文件
也可以用--exclude-from=paichu.txt,排除这个文件中指定的文件
  • 无差异同步[–delete]
1
2
rsync -avz --delete /backup/ root@172.16.1.41:/tmp/
--delete会把服务器上有而本地没有的数据全部删除,非常危险,慎用慎用
  • 限速[–bwlimit]
1
sync -avz --bwlimit=100 /backup/ root@172.16.1.41:/tmp/

3. 守护进程模式(重点)

3.1 基础说明

搭建服务端启动守护进程(873端口),然后在客户端推或拉数据进行备份,比普通远程模式好的地方在于,免交互的备份数据,配合定时任务食用更加.
语法

1
2
拉: rsync [OPTION...] [USER@]HOST::SRC DEST
推: rsync [OPTION...] SRC [USER@]HOST::DEST

PS:推拉的区别同普通模式,用的更多的是推模式,因为拉的模式客户端数量很大时,会非常消耗服务端资源,而推模式请求由客户端发起,不占用服务端资源

3.2 服务器端配置过程:

检查和安装rsync

1
2
rpm -qa rsync
yum install rsync -y

先检查是否有安装,如果有则安装

2) 添加rsync服务的用户

1
2
useradd -s /sbin/nologin -M rsync
id rsync

生成rsyncd.conf配置文件并写入内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
cat >/etc/rsyncd.conf <<"EOF"
##rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
list = false
hosts allow = 172.16.1.0/24
#hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = "backup dir by noah"
path = /backup
read only = false
##rsync_conf_____end##
EOF

关于配置文件各行的说明见文档最后

4) 创建共享目录并授权rsync服务管理

1
2
mkdir /backup -p
chown -R rsync.rsync /backup/

5) 创建认证文件并修改权限

1
2
3
4
echo "rsync_backup:noah123" >/etc/rsync.password
cat /etc/rsync.password
chmod 600 /etc/rsync.password
ls -l /etc/rsync.password

此处的用户和密码,非系统中的用户和密码

6) 启动rsync服务加入开机启动

1
2
3
4
rsync --daemon
netstat -lntup|grep 873
echo "/usr/bin/rsync --daemon" >>/etc/rc.local
tail -1 /etc/rc.local

3.3 客户端配置

检查和安装rsync

1
2
rpm -qa rsync
yum install rsync -y

生成链接服务器需要的密码文件

1
2
echo "noah123" >/etc/rsync.password
chmod 600 /etc/rsync.password

#只需要密码不需要用户名

3) 同步数据(推送)

1
rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

提示:ip后面跟的backup是服务器配置文件中的模块名,不是备份路径

4 配置文件说明

配置文件整体说明

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
uid = rsync		#用户,远端的客户机使用rsync用户来访问共享目录
gid = rsync #用户组
use chroot = no #安全相关
max connections = 200 #最大连接数
timeout = 300 #超时时间
pid file = /var/run/rsyncd.pid #进程对应的进程号文件
lock file = /var/run/rsync.lock #锁文件,防止文件不一致
log file = /var/log/rsyncd.log #日志文件
ignore errors #忽略错误
list = false #不允许列表(ls)
hosts allow = 172.16.1.0/24 #白名单,允许的网段
#hosts deny = 0.0.0.0/32 #黑名单,拒绝的网段
auth users = rsync_backup #链接的虚拟用户,非系统用户
secrets file = /etc/rsync.password #虚拟用户的账号密码文件
[backup] #模块名称,可以有多个,称为多模块
comment = "backup dir by noah" 模块描述信息
path = /backup #服务器提供的共享目录
read only = false #可写

注意不要在配置文件中某一行后面用#号写注释,识别不了的,注释用的#号必须写在行首

2) 黑白名单三种情况说明:

  • 只有白名单,白名单网段或主机信息允许。其余阻止
  • 只有黑名单,黑名单网段或主机信息阻止,其余允许
  • 黑白名单都有,相当于只有黑名单的方式
  • 建议使用白名单方式