rsync三大传输模式
- 本地传输
- 远程传输
- 守护进程
- 选项
本地传输
Local: rsync [OPTION...] SRC... [DEST]文件
[root@backup ~]# rsync -avz 2222.txt /tmp/目录
[root@backup ~]# rsync -avz /etc/ /tmp/注意:
- 每次拷贝都是增量
- 如果有新增, 拷贝新增
- 如果修改历史拷贝过的文件, 则同步修改后的文件
远程传输
下载
Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST][root@backup ~]# rsync -avz root@172.16.1.31:/root/31.txt ./
下载31服务器上/root/31.txt文件,至本地的当前目录,使用31的root身份注意: 加/ 和不加/
- 加/ : 会下载这个目录下的所有内容至本地
- 不加/: 下载目录,以及目录下的所有内容至本地
[root@backup ~]# rsync -avz root@172.16.1.31:/opt/etc_test/ ./
[root@backup ~]# rsync -avz root@172.16.1.31:/opt/etc_test ./推送
Push: rsync [OPTION...] SRC... [USER@]HOST:DEST[root@backup ~]# rsync -avz ./41.txt root@172.16.1.31:/opt/
[root@backup ~]# rsync -avz ./etc_test root@172.16.1.31:/opt/
#推送本地的文件或目录,至远程主机31的/opt目录下,使用的是31的root身份缺陷
- 权限过高不安全
- 权限太低,无法推送
守护进程
- 安装
[root@backup ~]# yum install rsync -y- 配置
[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf
/etc/sysconfig/rsyncd---- 配置详解
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync # 运行进程的用户
gid = rsync # 运行进程的用户组
port = 873 # 监听端口
fake super = yes # 不需要rsync已root身份运行，就可以存储文件的完整属性
use chroot = no # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误信息
read only = false # 对备份数据可读写
list = false # 不允许查看模块信息
auth users = rsync_backup # 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd # 定义rsync服务用户连接认证密码文件路径
[backup] # 定义模块信息
path = /backup # 定义接收备份数据目录---- 根据配置要做如下操作
a.创建进程运行的用户
[root@backup ~]# useradd rsync -M -s /sbin/nologin
[root@backup ~]# id rsync
uid=1001(rsync) gid=1001(rsync) 组=1001(rsync)b.创建虚拟用户以及虚拟用户的密码/etc/rsync.passwd
格式: Username:Password
[root@backup ~]# cat /etc/rsync.passwd
rsync_backup:1
[root@backup ~]# chmod 600 /etc/rsync.passwdc.创建一个接收备份数据目录
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/- 启动
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd- 检查
[root@backup ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 22463/rsync- 测试
将本地的某个文件,推送到服务端backup目录,使用的是虚拟的用户名和密码
Push: rsync [OPTION...] SRC... [USER@]HOST::DEST[root@nfs01 ~]# rsync -avz 31.txt rsync_backup@172.16.1.41::backup将服务端backup目录的某个文件拉取到本地,使用的是虚拟的用户名和密码
Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST][root@nfs01 ~]# rsync -avz rsync_backup@172.16.1.41::backup ./注意
进程能够以什么样的方式去访问一个文件, 取决于运行该进程的用户身份,对这个文件拥有什么权限
rsync作为服务端一些选项
-avz
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序 -e ‘ssh’
–exclude=PATTERN #指定排除不需要传输的文件模式
–exclude-from=file #文件名所在的目录文件
–bwlimit=100 #限速传输
–partial #断点续传
–delete #让目标目录和源目录数据保持一致
- 显示传输的每s的速率
[root@nfs01 ~]# dd if=/dev/zero of=./size_file bs=1M count=300
[root@nfs01 ~]# rsync -avzP size_file rsync_backup@172.16.1.41::backup
sending incremental file list
size_file
314,572,800 100% 81.20MB/s 0:00:03 (xfr#1, to-chk=0/1)- 限速,非常重要
不限速
[root@nfs01 ~]# rsync -avzP size_1G rsync_backup@172.16.1.41::backup
...
1,048,576,000 100% 78.85MB/s 0:00:12 (xfr#1, to-chk=0/1)
--bwlimit限速 (默认单位为兆 --> 兆 换算为带宽 * 8 = )
[root@nfs01 ~]# rsync -avzP --bwlimit=10 size_1G rsync_backup@172.16.1.41::backup
....
566,394,880 54% 10.12MB/s 0:00:46- –delete 强制同步
在推送时添加--delete, 强制让服务端与客户端保持一致
在拉取时添加--delete, 强制让客户端与服务端保持一致- –exclude --exclude-from 排除
排除单个文件或多个文件
# rsync -avz --exclude=origin/all.txt ./origin rsync_backup@172.16.1.41::backup
# rsync -avz --exclude=origin/3.txt --exclude=origin/all.txt ./origin rsync_backup@172.16.1.41::backup
排除多个文件 ( 准备一个文件, 将要排除的内容写入文件中, 最后指定排除的文件即可)
[root@nfs01 ~]# cat pc.txt
origin/5.txt
origin/8.txt
origin/9.txt
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt ./origin rsync_backup@172.16.1.41::backup- 免交互
第一种方式: --password-file=
[root@nfs01 ~]# echo "1" > /etc/rsync.pass
[root@nfs01 ~]# chmod 600 /etc/rsync.pass
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt ./origin rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.pass第二种方式: 设定环境变量
[root@nfs01 ~]# export RSYNC_PASSWORD=1
[root@nfs01 ~]# rsync -avz --exclude-from=pc.txt ./origin rsync_backup@172.16.1.41::backuprsync备份案例
已知3台服务器主机名分别为web01、backup 、nfs主机信息见下表:
角色 外网IP(NAT) 内网IP(LAN) 主机名
WEB eth0:10.0.0.7 eth1:172.16.1.7 web01
NFS eth0:10.0.0.31 eth1:172.16.1.31 nfs01
Rsync eth0:10.0.0.41 eth1:172.16.1.41 backup
客户端需求
1.客户端提前准备存放的备份的目录，目录规则如下:/backup/nfs_172.16.1.31_2018-09-02
2.客户端在本地打包备份(系统配置文件、应用配置等)拷贝至/backup/nfs_172.16.1.31_2018-09-02
3.客户端最后将备份的数据进行推送至备份服务器
4.客户端服务器本地保留最近7天的数据, 避免浪费磁盘空间
5.客户端每天凌晨1点定时执行该脚本
服务端需求
1.服务端部署rsync，用于接收客户端推送过来的备份数据
2.服务端需要每天校验客户端推送过来的数据是否完整
3.服务端需要每天校验的结果通知给管理员 (邮件)
4.服务端仅保留6个月的备份数据,其余的全部删除
客户端脚本
[root@nfs01 ~]# cat /scripts/client_push_data_server.sh
#!/usr/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
Path=/backup
Host=$(hostname)
Addr=$(ifconfig eth1 | awk '/inet / { print $2 }')
Date=$(date +%F)
Dest=$Path/${Host}_${Addr}_${Date}
#1.创建对应的备份目录
[ -d $Dest ] || mkdir -p $Dest
#2.拷贝需要备份文件至目录
cd / && \
[ -f $Dest/sys.tar.gz ] || tar czf $Dest/sys.tar.gz etc/passwd etc/fstab etc/hosts && \
[ -f $Dest/other.tar.gz ] || tar czf $Dest/other.tar.gz var/spool/cron scripts
#3.添加标记
[ -f $Dest/flag_${Date} ] || md5sum $Dest/*.tar.gz > $Dest/flag_${Date}服务端脚本
[root@backup ~]# cat /scripts/check_data_notify.sh
#!/usr/bin/bash
Path=/backup
Date=$(date +%F)
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
#1.校验推送过来的flag
md5sum -c $Path/*/flag_${Date} > $Path/result_${Date}
#2.通知管理人员结果
mail -s "Rsync Backup ${Date}" "123@qq.com" <$Path/result_${Date}配置邮箱
[root@backup ~]# yum install mailx -y
[root@backup ~]# vim /etc/mail.rc
#最后一行添加
set from=572891887@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=572891887@qq.com
set smtp-auth-password=#授权码
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/定时任务
客户端每天凌晨1点执行
[root@nfs01 ~]# crontab -l
00 01 * * * sh /scripts/client_push_data_server.sh &>/dev/null
服务端每天凌晨5点校验
[root@backup ~]# crontab -l
00 05 * * * sh /scripts/check_data_notify.sh & >/dev/null如果新增加机器
[root@web01 ~]# rsync -avz 172.16.1.31:/scripts /scp 远程拷贝
推送push
将本地oldxu.com文件, 推送到31服务器的/root目录下,使用的是31服务器的root系统用户身份
[root@backup ~]# scp oldxu.com root@172.16.1.31:/root/拉取pull
获取31服务器的/root/oldxu.com文件,至本地/tmp目录,使用的是31的root系统用户身份
[root@backup ~]# scp root@172.16.1.31:/root/oldxu.com /tmp/拷贝目录
-r 参数
-P 端口
-l 限速 #限速为8096kb，换算为MB，要除以 8096/8=1024KB=1MB
[root@backup ~]# scp -r -P2222 etc.tar.gz root@172.16.1.31:/tmp/
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
