rsync 带用户 rsync -i

转载

网络安全战士 2024-02-26 17:43:24

文章标签 rsync 带用户 php 增量备份 bash 文章分类 运维

1、小试参数
# rsync -avzP web@192.168.22.11::web1 /data/test/ --输入密码 123；将服务器 web1 模块里的文件同步至 /data/test，参数说明：
-a --参数，相当于-rlptgoD，
-r --是递归
-l --是链接文件，意思是拷贝链接文件
-i --列出 rsync 服务器中的文件
-p --表示保持文件原有权限
-t --保持文件原有时间
-g --保持文件原有用户组
-o --保持文件原有属主
-D --相当于块设备文件
-z --传输时压缩
-P --传输进度
-v --传输时的进度等信息，和-P有点关系
# rsync -avzP --delete web@192.168.22.11::web1 /data/test/ --让客户端与服务器保持完全一致， --delete
# rsync -avzP --delete /data/test/ web@192.168.22.11::web1 --上传客户端文件至服务端
# rsync -avzP --delete /data/test/ web@192.168.22.11::web1/george --上传客户端文件至服务端的 george 目录
# rsync -ir --password-file=/tmp/rsync.password web@192.168.22.11::web1 --递归列出服务端 web1 模块的文件
# rsync -avzP --exclude="*3*" --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/ --同步除了路径以及文件名中包含 “3” *的所有文件
2、通过密码文件同步
# echo "123"> /tmp/rsync.password
# chmod 600 /tmp/rsync.password
# rsync -avzP --delete --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/ --调用密码文件
3、客户端自动同步
# crontab -e
10 0 * * * rsync -avzP --delete --password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/
# crontab -l

数据实时同步

环境：Rsync + Inotify-tools

1、inotify-tools

是为linux下 inotify文件监控工具提供的一套c的开发接口库函数，同时还提供了一系列的命令行工具，这些工具可以用来监控文件系统的事件

inotify-tools是用c编写的，除了要求内核支持 inotify 外，不依赖于其他

inotify-tools提供两种工具：一是inotifywait，它是用来监控文件或目录的变化，二是inotifywatch，它是用来统计文件系统访问的次数

2、安装inotify-tools

下载地址：http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

# yum install –y gcc --安装依赖

# mkdir /usr/local/inotify

# tar -xf inotify-tools-3.14.tar.gz

# cd inotify-tools-3.14

# ./configure --prefix=/usr/local/inotify/

# make && make install

3、设置环境变量

# vim /root/.bash_profile

export PATH=/usr/local/inotify/bin/:$PATH

# source /root/.bash_profile

# echo '/usr/local/inotify/lib' >> /etc/ld.so.conf --加载库文件

# ldconfig

# ln -s /usr/local/inotify/include /usr/include/inotify

4、常用参数

-m --始终保持监听状态，默认触发事件即退出 -r --递归查询目录 -q --打印出监控事件 -e --定义监控的事件，可用参数： access --访问文件 modify --修改文件 attrib --属性变更 open --打开文件 delete --删除文件 create --新建文件 move --文件移动 --fromfile --从文件读取需要监视的文件或者排除的文件，一个文件一行，排除的文件以@开头 --timefmt --时间格式 --format --输出格式 --exclude --正则匹配需要排除的文件，大小写敏感 --excludei --正则匹配需要排除的文件，忽略大小写 %y%m%d %H%M --年月日时钟 %T%w%f%e --时间路径文件名状态

5、测试一

检测源目录中是否有如下动作：modify,create,move,delete,attrib；一旦发生则发布至目标机器；方式为 ssh
src: 192.168.22.11(Rsync + Inotify-tools) dest: 192.168.22.12
两台机器需要做好 ssh 免密登录
# mdkir /data/test/dest/ --dest机器
# mdkir /data/test/src/ --src机器
# rsync -av --delete /data/test/src/ 192.168.22.12:/data/test/dest --测试下命令
# vim /data/test/test.sh
#!/bin/bash
/usr/local/inotify/bin/inotifywait -mrq -e modify,create,move,delete,attrib /data/test/src | while read events
do
rsync -a --delete /data/test/src/ 192.168.22.12:/data/test/dest
echo "`date +'%F %T'` 出现事件：$events" >> /tmp/rsync.log 2>&1
done
# chmod 755 /data/test/test.sh
# /data/test/test.sh &
# echo '/data/test/test.sh &' >> /etc/rc.local --设置开机自启
*******我们可以在目标机上也写一个这样的脚本： rsync -a --delete /data/test/dest/ 192.168.22.11:/data/test/src ；这样可以实现双向同步

使用 rsync 镜像

使用 rsync 对目录做镜像实际上就是做无历史归档的完全备份。下面给出一个镜像远程 Web 站点例子。
笔者在 dreamhost 上维护了3个 Dokuwiki 站点。为了备份这3个站点笔者使用 rsync 进行镜像。远程站点的目录结构如下：

~
|-- sinosmond.com
| `-- dokuwiki
|-- smartraining.cn
| `-- dokuwiki
`-- symfony-project.cn
`-- dokuwiki

每个 Dokuwiki 的目录结构如下：

dokuwiki
|-- bin
|-- inc
|-- conf --- 存放配置文件的目录
| |-- acl.auth.php --- 访问控制配置文件 ★
| |-- local.php --- 本地配置文件 ★
| |-- users.auth.php --- 用户口令文件 ★
| `-- ………………
|-- data --- 存放数据的目录
| |-- attic --- 存放WIKI版本信息 ★
| |-- cache --- 存放数据缓存
| |-- index --- 存放站内索引
| |-- locks --- 存放编辑页面时的锁定文件
| |-- media --- 存放图片等 ★
| |-- meta --- 存放 meta 以便系统读取这些信息生成页面 ★
| `-- pages --- 存放 wiki 页面 ★
`-- lib
|-- plugins --- 存放插件的目录 ☆
|-- tpl --- 存放模版的目录 ☆
`-- ………………

为了减少网络流量，只同步标有 ★ 的目录或文件。若在站点运行过程中新安装了插件或更换了模板，也应该同步标有 ☆ 的目录。为此编写如下的规则文件 /root/bin/backup/dw-exclude.txt：

- dokuwiki/bin/
- dokuwiki/inc/
- dokuwiki/data/cache/
- dokuwiki/data/locks/
- dokuwiki/data/index/
+ dokuwiki/conf/acl.auth.php
+ dokuwiki/conf/local.php
+ dokuwiki/conf/users.auth.php
- dokuwiki/conf/*
+ dokuwiki/lib/plugins/

# 不同步系统默认安装的插件
- dokuwiki/lib/plugins/acl/
- dokuwiki/lib/plugins/config/
- dokuwiki/lib/plugins/importoldchangelog/
- dokuwiki/lib/plugins/importoldindex/
- dokuwiki/lib/plugins/info/
- dokuwiki/lib/plugins/plugin/
- dokuwiki/lib/plugins/revert/
- dokuwiki/lib/plugins/usermanager/
- dokuwiki/lib/plugins/action.php
- dokuwiki/lib/plugins/admin.php
- dokuwiki/lib/plugins/syntax.php
+ dokuwiki/lib/tpl

# 不同步系统默认安装的模板
- dokuwiki/lib/tpl/default/
- dokuwiki/lib/*
- dokuwiki/COPYING
- dokuwiki/doku.php
- dokuwiki/feed.php
- dokuwiki/index.php
- dokuwiki/install*
- dokuwiki/README
- dokuwiki/VERSION

下面是同步脚本 /root/bin/backup/rsync-dw.sh

#!/bin/bash
#####################################
# mirror dokuwiki website
# $1 --- domain (ex: smartraining.cn)
# $2 --- full or update
#####################################
# declare some variable
RmtUser=osmond
RmtIP=208.113.163.110
RmtPath=$1/dokuwiki
BackupRoot=/backups/$1
Excludes="--exclude-from=/root/bin/backup/dw-exclude.txt"

# use rsync for mirror
if [ "$2" == "full" ]
then

[ -d /backups/$1 ] || mkdir -p /backups/$1
excludesfile="/tmp/first-excludes"
cat > ${excludesfile} << EOF
+ dokuwiki/data/cache/_dummy
- dokuwiki/data/cache/*
+ dokuwiki/data/locks/_dummy
- dokuwiki/data/locks/*
+ dokuwiki/data/index/_dummy
- dokuwiki/data/index/*
EOF
/usr/bin/rsync -avzP --exclude-from=${excludesfile} \
$RmtUser@$RmtIP:$RmtPath $BackupRoot

else
/usr/bin/rsync -avzP --delete $Excludes \
$RmtUser@$RmtIP:$RmtPath $BackupRoot

fi

首次备份可以使用类似如下的命令（为了在本地保留一个完整复本）：
 
# /root/bin/backup/rsync-dw.sh smartraining.cn full
# /root/bin/backup/rsync-dw.sh sinosmond.com full
# /root/bin/backup/rsync-dw.sh symfony-project.cn full 
可以安排 cron 任务以便日后更新：
 
# crontab -e
05 1 * * * /root/bin/backup/rsync-dw.sh smartraining.cn
25 1 * * * /root/bin/backup/rsync-dw.sh sinosmond.com
45 1 * * * /root/bin/backup/rsync-dw.sh symfony-project.cn

普通型增量备份

使用 rsync 可以做增量备份。rsync 提供了 -b ––backup-dir 选项，使用这个选项可以将有变化的文件进行更新同时将其旧版本保存在指定的目录中，从而实现增量备份。下面是对 /home 进行增量备份的步骤说明：

# 第0次备份
# 首先复制 /home 目录的内容到备份目录 /backups/daily/home.0，
# rsync -a /home/ /backups/daily/home.0
# /backups/daily/home.0 总是同步到最新的状态，可以每隔一段时间（如一周）
# 对其内容进行打包压缩生成归档文件（完全备份）存在 /backups/archive/。

# 第1次备份（此为核心操作）
# 将 /home 目录的内容同步到目录 /backups/daily/home.0，
# 并将有变化的文件的旧版本保存到 /backups/daily/home.1，
# 若每天执行一次，则目录 /backups/daily/home.1 保存了有变化文件一天前的状态。
# rsync -a --delete -b --backup-dir=/backups/daily/home.1 /home/ /backups/daily/home.0

# 第2次备份
# 将备份目录 /backups/daily/home.1 更名为 /backups/daily/home.2
# mv /backups/daily/home.1 /backups/daily/home.2
# 执行第1次备份的核心操作

# 第n次备份
# 将早先的备份目录 /backups/daily/home.n 到 /backups/daily/home.1
# 依次更名为 /backups/daily/home.(n+1) 到 /backups/daily/home.2
# 执行第1次备份的核心操作

下面给出一个增量备份示例脚本。

#!/bin/bash
#========================
# 您可以安排 cron 任务执行本脚本
# > crontab -e
#
# daily : 1 1 * * * /path/to/script/rsync-backup.sh
#========================
mydate="`date '+%Y%m%d.%H%M'`"

# Define rmt location
RmtUser=root
RmtHost=192.168.0.55
RmtPath=/home/
BackupSource="${RmtUser}@${RmtHost}:${RmtPath}"
#BackupSource="/home/"             # 若进行本地备份则用本地路径替换上面的行
# Define location of backup
BackupRoot="/backups/$RmtHost/"
# BackupRoot="/backups/localhost/" # 若进行本地备份则用本地路径替换上面的行
LogFile="${BackupRoot}/backup.log"
ExcludeList="/root/backup/backup-exclude-list.txt"
BackupName='home'
BackupNum="7"                      # 指定保留多少个增量备份（适用于每周生成归档文件）
#BackupNum="31"                    # 指定保留多少个增量备份（适用于每月生成归档文件）

# 定义函数检查目录 $1 是否存在，若不存在创建之
checkDir() {
    if [ ! -d "${BackupRoot}/$1" ] ; then
        mkdir -p "${BackupRoot}/$1"
    fi
}
# 定义函数实现目录滚动
# $1 -> 备份路径
# $2 -> 备份名称
# $3 -> 增量备份的数量
rotateDir() {
    for i in `seq $(($3 - 1)) -1 1`
    do
        if [ -d "$1/$2.$i" ] ; then
            /bin/rm -rf "$1/$2.$((i + 1))"
            mv "$1/$2.$i" "$1/$2.$((i + 1))"
        fi
    done
}

# 调用函数 checkDir ，确保目录存在 checkDir "archive" checkDir "daily"

#======= Backup Begin =================
# S1: Rotate daily.
rotateDir "${BackupRoot}/daily" "$BackupName" "$BackupNum"

checkDir "daily/${BackupName}.0/"
checkDir "daily/${BackupName}.1/"

mv ${LogFile} ${BackupRoot}/daily/${BackupName}.1/

cat >> ${LogFile} <<_EOF
===========================================
    Backup done on: $mydate
===========================================
_EOF

# S2: Do the backup and save difference in ${BackupName}.1
rsync -av --delete \
    -b --backup-dir=${BackupRoot}/daily/${BackupName}.1 \
    --exclude-from=${ExcludeList} \
    $BackupSource ${BackupRoot}/daily/${BackupName}.0 \
    1>> ${LogFile} 2>&1

# S3: Create an archive backup every week
if [ `date +%w` == "0" ] # 每周日做归档
# if [ `date +%d` == "01" ] # 每月1日做归档
then
    tar -cjf ${BackupRoot}/archive/${BackupName}-${mydate}.tar.bz2 \
      -C ${BackupRoot}/daily/${BackupName}.0 .
fi

您可以适当修该上述脚本中变量：

RmtPath="$1/" #BackupSource="$1/" BackupName="$1"

然后传递脚本参数备份其他目录，例如要备份 /www 可以使用如下命令：

./rsync-backup.sh /www

快照型增量备份

使用 rsync 可以做快照（Snapshot）型增量备份。每一个快照都相当于一个完全备份。其核心思想是：对有变化的文件进行复制；对无变化的文件创建硬链接以减少磁盘占用。
下面是对 /home 进行快照型增量备份的步骤说明：

# 第0次备份
# 首先复制 /home 目录的内容到备份目录 /backups/home.0
# rsync -a /home/ /backups/home.0

# 第1次备份（此为核心操作）
# 以硬链接形式复制 /backups/home.0 到 /backups/home.1
# cp -al /backups/home.0 /backups/home.1
# 将 /home 目录的内容同步到目录 /backups/home.0
# （rsync 在发现变化的文件时，先删除之，然后在创建该文件）
# rsync -a --delete /home/ /backups/home.0

# 第2次备份
# 将备份目录 /backups/home.1 更名为 /backups/home.2
# mv /backups/home.1 /backups/home.2
# 执行第1次备份的核心操作

# 第n次备份
# 将早先的备份目录 /backups/home.n 到 /backups/home.1
# 依次更名为 /backups/home.(n+1) 到 /backups/home.2
# 执行第1次备份的核心操作

rsync 2.5.6 版本之后提供了 ––link-dest 选项，如下两条核心操作命令：

cp -al /backups/home.0 /backups/home.1 rsync -a --delete /home/ /backups/home.0

可以简化为如下的一条命令：

rsync -a --delete --link-dest=/backups/home.1 /home/ /backups/home.0

#!/bin/bash
# ----------------------------------------------------------------------
# mikes handy rotating-filesystem-snapshot utility
# ----------------------------------------------------------------------
# RCS info: $Id: make_snapshot.sh,v 1.6 2002/04/06 04:20:00 mrubel Exp $
# ----------------------------------------------------------------------
# this needs to be a lot more general, but the basic idea is it makes
# rotating backup-snapshots of /home whenever called
# ----------------------------------------------------------------------

# ------------- system commands used by this script --------------------
ID='/usr/bin/id';
ECHO='/bin/echo';

MOUNT='/bin/mount';
RM='/bin/rm';
MV='/bin/mv';
CP='/bin/cp';
TOUCH='/usr/bin/touch';

RSYNC='/usr/bin/rsync';

# ------------- file locations -----------------------------------------

MOUNT_DEVICE=/dev/hdb1;
SNAPSHOT_RW=/root/snapshots;
EXCLUDES=/etc/snapshot_exclude;

# ------------- backup configuration------------------------------------

BACKUP_DIRS="/etc /home"
NUM_OF_SNAPSHOTS=3
BACKUP_INTERVAL=hourly

# ------------- the script itself --------------------------------------

# make sure we're running as root
if (( `$ID -u` != 0 )); then { $ECHO "Sorry, must be root. Exiting..."; exit; } fi

echo "Starting snapshot on "`date`

# attempt to remount the RW mount point as RW; else abort
$MOUNT -o remount,rw $MOUNT_DEVICE $SNAPSHOT_RW ;
if (( $? )); then
{
	$ECHO "snapshot: could not remount $SNAPSHOT_RW readwrite";
	exit;
}
fi;

# rotating snapshots
for BACKUP_DIR in $BACKUP_DIRS
do
	NUM=$NUM_OF_SNAPSHOTS
	# step 1: delete the oldest snapshot, if it exists:
	if [ -d ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ] ; then \
	$RM -rf ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ; \
	fi ;
	NUM=$(($NUM-1))
	# step 2: shift the middle snapshots(s) back by one, if they exist
	while [[ $NUM -ge 1 ]]
	do
		if [ -d ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ] ; then \
			$MV ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.$NUM ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_IN}
		fi;
		NUM=$(($NUM-1))
	done

	# step 3: make a hard-link-only (except for dirs) copy of the latest snapshot,
	# if that exists
	if [ -d ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ] ; then \
		$CP -al ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}
	fi;
	# step 4: rsync from the system into the latest snapshot (notice that
	# rsync behaves like cp --remove-destination by default, so the destination
	# is unlinked first. If it were not so, this would copy over the other
	# snapshot(s) too!
	$RSYNC \
		-va --delete --delete-excluded \
		--exclude-from="$EXCLUDES" \
		${BACKUP_DIR}/ ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ;
	# step 5: update the mtime of ${BACKUP_INTERVAL}.0 to reflect the snapshot time
	$TOUCH ${SNAPSHOT_RW}${BACKUP_DIR}/${BACKUP_INTERVAL}.0 ;
done

# now remount the RW snapshot mountpoint as readonly

$MOUNT -o remount,ro $MOUNT_DEVICE $SNAPSHOT_RW ;
if (( $? )); then
{
	$ECHO "snapshot: could not remount $SNAPSHOT_RW readonly";
	exit;
} fi;

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。