Rsync 同步速度

 一、rsync简介

 1.1 rsync介绍

 1.2 rsync同步方式

 1.3 rsync特性

二、rsync与cp、scp的对比

三、rsync命令

四、rsync本地复制实例

五  实验

总结

一、rsync简介

1.1 rsync介绍

是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

Rsync 是 Linux 系统下的数据镜像备份工具，使用快速增量备份工具 Remote Sync 可以远程同步， 可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法， 传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制，或者与其他 SSH、rsync 主机同步

1.2 rsync同步方式

完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地。

差量备份：备份上次完全备份以后有变化的数据（他针对的上次的完全备份，他备份过程中不清除存档属性）。

增量备份：备份上次备份以后有变化的数据（他才不管是那种类型的备份，有变化的数据就备份，他会清除存档属性）

1.3 rsync特性

可以镜像保存整个目录和文件系统

可以很容易做到保持原文件的权限、时间、软硬连接等

无须特殊权限即可安装

快速

第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件

rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的宽带

安全

可以使用scp、ssh等方式来传输文件

也可通过直接socket连接

支持匿名传输，以方便进行网站镜像

 

 

 

二、rsync与cp、scp的对比

cp命令是一种典型的将文件完整的拷贝到一个位置。而rsync是，第一次拷贝，在目标位置没有的时候，rsync是全量拷贝过去，但是第二次拷贝的时候，只会对差异项进行同步拷贝。所有如果对同一个文件进行二次备份的话，rsync速度会相较于cp而言更快。

cp只支持本地，而rsync支持远程

scp是基于cp原理，也是属于完整性拷贝文件。假设rsync和scp拷贝的文件都是第一，目标地址都没有要同步的文件，此时，这两者的差异在于，第一个，这个要传输的文件大不大，第二个要看在传输的过程中，用的带宽大不大。如果文件不大的情况下，scp是把数据从磁盘中的块存储提取出来，封装一下，网络传过去，此时scp更快，如果是更大的文件，比如说40G，带宽只支持100M的带宽，scp想要传输，需要拆分数据，一段一段传输。而rsync会根据一个逻辑意义上的空间，把数据划分出来，把数据先压缩再传输，所以这种方式而言，带宽校，文件大，这个时候先压缩再传输会比较快。此时适合用rsync远程同步。

三、rsync命令

常用的是-a、-v、-z、--delete

常用选项 　　　　　　　　　　　　　　　　解释

-a　　　　　　　　　　 归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。

-v 　　　　　　　　　　显示同步过程的详细（verbose）信息。

-z 　　　　　　　　　　在传输文件时进行压缩（compress）。

--delete　　　　　　　　

-r

-l

-p　　　　　　　　　　

-t

-g

-o

-H　　　　　　　　　　

-A 　　　　　　　　　　　　保留 ACL 属性信息。

-D

--checksum　　　　　　根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

 

四、rsync本地复制实例

以下两者区别是什么？

rsync -avz abc/ /opt/ :只会拷贝abc目录下面的文件，而不会拷贝abc这个目录

rsync -avz /abc /opt/：会连着目录一起拷贝到/opt下

#如果是rsync -avz  abc/ /opt/会是什么情况
cd /opt
mkdir /abc
cd /abc/
touch 1.txt 2.txt
cd /
rsync -avz abc/ /opt/
cd /opt/
ls
#如果是rsync -avz /abc /opt/会是什么情况
cd /opt/
rm -rf *
rsync -avz /abc /opt/
ls

 

五 实验

格式一：

用户名@主机地址::共享模块名  本地目录

例如:rsync -avz backuper@192.168.111.19::wwwroot /data
#表示将192.168.111.19同步源的wwwroot模块中定义的文件同步到本地的/data目录

格式二：

rsync://@主机地址/共享模块名 本地目录

例如：rsync -avz rsync://@192.168.111.19/wwwroot /root
#意思与上面一样，写法不同

rsync实验

本地复制：

rsync -avz /abc /opt 
#复制整个abc目录

rsync -avz /abc/ /opt 
#复制abc目录下的文件

本地复制妙用：

对一个目录下所有文件删除时，我们可以使用rm -rf 进行删除，但是rm -rf 是需要对文件进行遍历的。比较消耗资源，所以我们可使用–delete进行本地删除。

异地复制

配置环境

主机名    操作系统        ip地址                所需软件
rsync    centos7    192.168.111.19        rsync
client    centos7    192.168.111.20        rsync

rsync服务器配置

关闭防火墙

systemctl stop firewall
systemctl disbale firewalld
setenforce 0
yum -y install rsync

vim /etc/rsyncd.conf 
 
uid = root
gid = root
use chroot = yes                                                
address = 192.168.111.19
port 873                                                                
log file = /var/log/rsyncd.log                  
pid file = /var/run/rsyncd.pid                  
hosts allow = 192.0.0.0/24
[wwwroot]                                                               
path = /var/www/html                                    
comment = Document Root of www.lic.com
read only = yes                                                  
dont comperss = *.gz *.bz2 *.tgz *.zip *.rar *.z        
auth users = ydq                                               
secrets file = /etc/rsyncd_users.db

设置密码文件，并开启rsync服务

vim /etc/rsyncd_users.db
cj:123456
 
chmod 600 /etc/rsyncd_users.db
 
rsync --daemon
netstat -natp | grep rsync

-------------------------------
如果要关闭服务可以使用以下命令
kill $(cat /var/run/rsync.pid)

创建共享文件（文件源）

mkdir -p /var/www/html
chmod +r /var/www/html
cd /var/www/html
echo "qinshimingyue">qins.txt
echo "tianxingjiuge">txjg.txt

客户端配置

创建共享，目录

rsync -avz @192.168.111.19::wwwroot /abc

免密同步

vim /etc/server.pass
123456

chmod 600 /etc/server.pass
rsync -avz --password-file=/etc/server.pass @192.168.111.19::wwwroot /abc

delete用法

rsync -avz -delete --password-file=/etc/server.pass @192.168.111.19::wwwroot /abc

 

infotify

infotify:可以监控文件系统的变动情况，并做出反应

优化inotify内核参数

vim /etc/sysctl.conf（内核参数文件）
max_queue_events        #监控事件队列大小
max_user_instances      #最多监控实例数
max_user_watches        #每个实例最多监控文件数  

#命令工具
inotifywait     #用于持续监控，时实输出结果
inotifywatch    #用于短期监控，任务完成后再输出结果

常用选项

选项                      功能
-m                    持续监控
-r                    递归监控所有子对象
-q                    简化输出信息
-e                    指定要监控哪些事件类型
modify            　　 修改
create            　　 创建
move          　　　　 移动
delete          　　   删除

 

rsync+inotify实现配置

修改配置文件

vim /etc/rsyncd.conf
read only = no

kill (cat /var/run/rsyncd.pid)
rsync --daemon
netstat -natp |grep rsync

 

 

 修改内核文件

vim /etc/sysctl.conf

fs.inotify.max_queued_events = 32768
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

 

 client配置

安装inotify安装包

yum -y install gcc gcc-c++

cd /opt
tar -zxvf inotify-tools-3.14.tar.gz
cd inotify-tools-3.14/
./configure
make && make install

 

 脚本监控

vim /opt/inotify.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /abc/ ydq@20.0.0.55::wwwroot"
 
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
    fi
done

#脚本解释
先定义一个变量为监控这个目录中是否创建、删除、移动、修改、属性等信息的变化
再定义一个变量为rsync同步，将/abc中的目录中的信息同步到rsync服务器中的指定目录
再编写一个while循环，先执行监控变量，再执行while循环，
循环内容为，读取目录事件文件，如果rsync进程同步操作不存在，则执行同步操作的变量。

chmod +x /opt/inotify.sh
./inotify.sh

---------------#加入自启动-----------------------
chmod +x /etc/rc.d/rc.local
echo "/opt/inotify.sh" >>/etc/rc.d/rc.local

 

 

总结

rsync优点：可以时实

rsync缺点：

带宽特别充裕的情况下，rsync同步的速率比scp要慢

同步百万级数据，参数严格要按要求去写，不然可能导致同步失败。