1、rsync+inotify简介

rsync英文全称为Remote synchronization,从软件的名称就可以看出来,Rsync具有可是本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能,这个功能类似ssh带的scp命令,但又优先于scp命令的功能,scp每次都是全量拷贝,而rsync可以增量拷贝。当然,Rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据,这又类似cp命令,但同样也优先于cp命令,cp每次都是全量拷贝,而rsync可以增量拷贝。利用rsync还可以实现删除文件和目录的功能,这又相当于rm命令。
一个rsync相当于scp(远程拷贝),cp(本地拷贝),rm(本地删除),但是还优先于这些命令。Rsync还可以是一个网络服务(端口port、socket服务)
在同步备份数据时,默认情况下,rsync通过其独特的“quick check”算法,它仅同步大小或者最后修改时间发生变化的文件或目录,当然也可根据权限,属主等属性的变化同步,但需要制定相应的参数,甚至可以实现只同步一个文件里有变化的内容部分,所以,可以实现快速的同步备份数据。

2、应用场景

两台服务器之间数据同步cron+rsync、rsync+inotify(实时备份)
把所有客户服务器数据同步到备份服务器(定时备份)

3、部署rsync

# 服务端配置
yum -y install rsync
vi /etc/rsyncd.conf
uid = rsync
  gid = rsync
  use chroot = no
  max connections = 1000
  strict modes = yes
  pid file = /var/run/rsyncd.pid
  lock file = /var/run/rsync.lock
  log file = /var/log/rsyncd.log

  [data]
  uid = rsync
  gid = rsync
  path = /data_rsync/
  comment = rsync data
  ignore errors
  read only = no
  write only = no
  hosts allow = 192.168.7.0/24
  hosts deny = *
  list = false
  auth users = rsync_file
  secrets file = /etc/rsync.password
  
useradd rsync -s /sbin/nologin -M
mkdir /data_rsync
chown rsync.rsync /data_rsync/
echo 'rsync_file:lzfnlzfn' >/etc/rsync.password 
chmod 600 /etc/rsync.password
rsync --daemon
echo '/usr/bin/rsync --daemon' >>/etc/rc.local 
chmod +x /etc/rc.d/rc.local

# 关闭rsync
killall rsync
kill –HUP `cat /var/run/rsyncd.pid`
kill –USR2 `cat /var/run/rsyncd.pid`

# 客户端配置
echo 'lzfnlzfn' /etc/rsync.password 
chmod 600 /etc/rsync.password
rsync -avz ./data/ rsync_file@192.168.7.77::data --password-file=/etc/rsync.password        #由客户端向服务端推送数据的时候注意客户端文件夹的权限是否为rsync
rsync -avz rsync_file@192.168.7.77::data /data_rsync/ --password-file=/etc/rsync.password   #由服务端向客户端拉取数据
rsync --timeout=30 -auq --bwlimit=4096 --include=mysql-bin* --exclude=*  rsync_file@192.168.7.77::data /data_rsync/ --password-file=/etc/rsync.password

# 关于auth认证排错思路
确认密码输入是否正确
server端的secrets file内容格式为 rsync_file:lzfnlzfn,冒号前面为虚拟用户名,后面为认证密码
client端的secrets file内容直接为密码lzfnlzfn
配置文件/etc/rsyncd.conf中的auth users和secrets file名称是否写错
secrets file文件权限必须为600
secrets file文件必须拥有运行rsync --daemon用户的权限(假如root执行rsync --daemon 就必须执行chown root.root /etc/rsync.password命令修改所有者)

4、部署inotify

rsync远程同步工具,通过rsync可以实现对远程服务器数据的增量备份同步,但rsync自身也有瓶颈,同步数据时,rsync采用核心算法对远程服务器的目录文件进行比对,只进行差异同步。如果服务器的文件数量达到百万甚至千万量级,那么文件比对将是非常耗时的,而且发生变化的往往是期中很少的一部分,这是非常低效的方式。inotify的出现,可以缓解rsync不足之处,取长补短。
  Inotify实际是一种事件驱动机制,它为应用程序监控文件系统时间提供了实时相应事件的机制,而无须通过诸如cron等的轮询机制来获取时间。Cron等机制步进无法做到实时性,而且消耗大量系统资源。相比之下inotify基于事件驱动,可以做到对事件处理的实时响应,也没有轮询造成的系统资源消耗,是非常自然的事件通知接口,也与自然世界的事件机制相符合。
注:inotify软件需要在rsync的Client端使用
登录网站https://sourceforge.net/projects/inotify-tools/下载inotify软件,以下为安装方法:
tar xf inotify-tools-3.14.tar.gz 
cd inotify-tools-3.14/
./configure --prefix=/usr/local/inotify-tools-3.14
make && make install
cd ..
ln -s /usr/local/inotify-tools-3.14/ /usr/local/inotify
ll /usr/local/inotify/
cat /proc/sys/fs/inotify/max_queued_events    #设置inotifywait或inotifywatch命令可监视的文件数量(单时程)
cat /proc/sys/fs/inotify/max_user_instances   #设置每个用户可以运行的inotifywait或inotifywatch命令的进程数
cat /proc/sys/fs/inotify/max_user_watches     #设置inotify实例事件(event)队列可容纳的事件数量
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data_rsync/     #监听对/data_rsync/目录的创建文件操作
/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e delete /data_rsync/     #监听对/data_rsync/目录的删除文件操作
/usr/local/inotify/bin/inotifywait -mrq --format '%w%f' -e create,close_write,delete /data_rsync/               #监听对/data_rsync/目录的创建、修改、删除

5、rsync+inotify处理脚本

从客户端linux-node1的/data_rsync/目录作为备份目录,向192.168.1.1的rsync服务端同步数据。
cat /home/scripts/inotify.sh 
#!/bin/sh
cmd="/usr/local/inotify/bin/inotifywait"
$cmd -mrq --format '%w%f' -e create,close_write,delete /data_rsync | \
while read line
do
    [ ! -e  "$line" ] && cd /data_rsync/ && \
    rsync -az --delete /data_rsync/ rsync_file@192.168.1.1::data --password-file=/etc/rsync.password && continue
    rsync -az --delete $line rsync_file@192.168.1.1::data --password-file=/etc/rsync.password
done