环境:centos7
rsync工具介绍:
rsync是Linux系统下数据备份的一种工具。从字面上理解就是远程同步(remote sync),rsync不仅可以远程同步数据(类似于scp),而且可以本地同步数据(类似于cp),但不同于scp和cp的一点是,它不会覆盖以前的数据(如果数据已经存在),而是先判断已经存在的数据和新数据的差异,只有数据不同时才会把不同的部分覆盖。
rsync 是用于替代 rcp 的一个工具,rsync 使用所谓的 rsync算法进行数据同步,这种算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。
1.特性:
可以镜像保存整个目录树和文件系统
可以很容易做到保持原来文件的权限、时间、软硬链接等
无须特殊权限即可安装
优化的流程,文件传输效率高
可以使用 rsh、ssh 方式来传输文件,当然也可以通过直接的 socket 连接
支持匿名传输,以方便进行网站镜象在 windows 平台下也有相应的版本,如 cwrsync 和DeltaCopy 等。
2.使用方法:
在使用 rsync 进行远程同步时,可以使用两种方式:远程 Shell 方式(建议使用 ssh,用户验证由 ssh负责)和 C/S 方式(即客户连接远程 rsync 服务器,用户验证由 rsync 服务器负责)。
• 无论本地同步目录还是远程同步数据,首次运行时将会把全部文件拷贝一次,以后再运行时将只拷贝有
变化的文件(对于新文件)或文件的变化部分(对于原有文件)。
• 本节重点介绍 rsync 客户命令的使用,有关 rsync 服务器的配置和使用请参见下节。
• rsync 在首次复制时没有速度优势,速度不如 tar,因此当数据量很大时可以考虑先使用 tar 进行首次复制,然后再使用 rsync 进行数据同步。
3.语法:
rsync 命令基本格式:
1)本地使用:
rsync [OPTION…] SRC… [DEST]
2)通过远程 Shell 使用:
拉: rsync [OPTION…] [USER@]HOST:SRC… [DEST]
推: rsync [OPTION…] SRC… [USER@]HOST:DEST
3)访问 rsync 服务器:
拉:
rsync [OPTION…] [USER@]HOST::SRC… [DEST]
推:
rsync [OPTION…] SRC… [USER@]HOST::DEST
拉:
rsync [OPTION…] rsync://[USER@]HOST[:PORT]/SRC… [DEST]
推:
rsync [OPTION…] SRC… rsync://[USER@]HOST[:PORT]/DEST
其中: SRC: 是要复制的源位置 DEST: 是复制目标位置
若本地登录用户与远程主机上的用户一致,可以省略 USER@
使用远程shell 同步时,主机名与资源之间使用单个冒号“:”作为分隔符
使用 rsync服务器同步时,主机名与资源之间使用两个冒号“::”作为分隔符 当访问 rsync 服务器时也可以使用 rsync:// URL
“拉”复制是指从远程主机复制文件到本地主机(下载) “推”复制是指从本地主机复制文件到远程主机(上传) 当进行“拉”复制时,若指定一个SRC 且省略 DEST,则只列出资源而不进行复制
4.安装
sudo apt-get install rsync
sudo yum install rsync
sudo pacman -S rsync
5.基础用法
-r 参数
rsync -r source destination
上面命令中,-r表示递归,即包含子目录。注意,-r是必须的,否则 rsync 运行不会成功。source目录表示源目录,destination表示目标目录。
如果有多个文件或目录需要同步,可以写成下面这样。
rsync -r source1 source2 destination
上面命令中,source1、source2都会被同步到destination目录。
-a 参数
-a参数可以替代-r,除了可以递归同步以外,还可以同步元信息(比如修改时间、权限等)。由于 rsync 默认使用文件大小和修改时间决定文件是否需要更新,所以-a比-r更有用。下面的用法才是常见的写法。
rsync -a source destination
目标目录destination如果不存在,rsync 会自动创建。执行上面的命令后,源目录source被完整地复制到了目标目录destination下面,即形成了destination/source的目录结构。
如果只想同步源目录source里面的内容到目标目录destination,则需要在源目录后面加上斜杠。
-n 参数
如果不确定 rsync 执行后会产生什么结果,可以先用-n或--dry-run参数模拟执行的结果。
rsync -anv source/ destination
上面命令中,-n参数模拟命令执行的结果,并不真的执行命令。-v参数则是将结果输出到终端,这样就可以看到哪些内容会被同步
--delete 参数
默认情况下,rsync 只确保源目录的所有内容(明确排除的文件除外)都复制到目标目录。它不会使两个目录保持相同,并且不会删除文件。如果要使得目标目录成为源目录的镜像副本,则必须使用--delete参数,这将删除只存在于目标目录、不存在于源目录的文件。
rsync -av --delete source/ destination
上面命令中,--delete参数会使得destination成为source的一个镜像。
6.排除文件
-exclude 参数
有时,我们希望同步时排除某些文件或目录,这时可以用--exclude参数指定排除模式。
rsync -av --exclude='*.txt' source/ destination
或者
rsync -av --exclude '*.txt' source/ destination
上面命令排除了所有 TXT 文件。
注意,rsync 会同步以"点"开头的隐藏文件,如果要排除隐藏文件,可以这样写--exclude=".*"。
如果要排除某个目录里面的所有文件,但不希望排除目录本身,可以写成下面这样。
rsync -av --exclude 'dir1/*' source/ destination
多个排除模式,可以用多个--exclude参数。
rsync -av --exclude 'file1.txt' --exclude 'dir1/*' source/ destination
多个排除模式也可以利用 Bash 的大扩号的扩展功能,只用一个--exclude参数。
rsync -av --exclude={'file1.txt','dir1/*'} source/ destination
如果排除模式很多,可以将它们写入一个文件,每个模式一行,然后用--exclude-from参数指定这个文件。
rsync -av --exclude-from='exclude-file.txt' source/ destination
-include 参数
include参数用来指定必须同步的文件模式,往往与--exclude结合使用。
rsync -av --include="*.txt" --exclude='*' source/ destination
上面命令指定同步时,排除所有文件,但是会包括 TXT 文件。
7.远程同步备份
rsync 除了支持本地两个目录之间的同步,也支持远程同步。它可以将本地内容,同步到远程服务器。
通过ssh协议
rsync -av source/ username@remote_host:destination #将本地文件或目录同步到目标服务器
也可以将远程内容同步到本地。
rsync -av username@remote_host:source/ destination
rsync 默认使用 SSH 进行远程登录和数据传输。
由于早期 rsync 不使用 SSH 协议,需要用-e参数指定协议,后来才改的。所以,下面-e ssh可以省略。
rsync -av -e ssh source/ user@remote_host:/destination
但是,如果 ssh 命令有附加的参数,则必须使用-e参数指定所要执行的 SSH 命令。
rsync -av -e 'ssh -p 2234' source/ user@remote_host:/destination
上面命令中,-e参数指定 SSH 使用2234端口。
通过rsync 协议
除了使用 SSH,如果另一台服务器安装并运行了 rsync 守护程序,则也可以用rsync://协议(默认端口873)进行传输。具体写法是服务器与目标目录之间使用双冒号分隔::。
rsync -av source/ 192.168.122.32::module/destination
注意,上面地址中的module并不是实际路径名,而是 rsync 守护程序指定的一个资源名,由管理员分配。 如果想知道 rsync 守护程序分配的所有 module 列表,可以执行下面命令。
rsync 协议除了使用双冒号,也可以直接用rsync://协议指定地址。
rsync -av source/ rsync://192.168.122.32/module/destination
rsync守护启动并分配资源,看其他文章
8.增量备份
rsync 的最大特点就是它可以完成增量备份,也就是默认只复制有变动的文件。
除了源目录与目标目录直接比较,rsync 还支持使用基准目录,即将源目录与基准目录之间变动的部分,同步到目标目录。 具体做法是,第一次同步是全量备份,所有文件在基准目录里面同步一份。以后每一次同步都是增量备份,只同步源目录与基准目录之间有变动的部分,将这部分保存在一个新的目标目录。这个新的目标目录之中,也是包含所有文件,但实际上,只有那些变动过的文件是存在于该目录,其他没有变动的文件都是指向基准目录文件的硬链接。
-link-dest 参数
用来指定同步时的基准目录。
rsync -a --delete --link-dest /compare/path /source/path /target/path
上面命令中,--link-dest参数指定基准目录/compare/path,然后源目录/source/path跟基准目录进行比较,找出变动的文件,将它们拷贝到目标目录/target/path。那些没变动的文件则会生成硬链接。这个命令的第一次备份时是全量备份,后面就都是增量备份了。
下面是一个脚本示例,备份用户的主目录。
#!/bin/bash
A script to perform incremental backups using rsync
set -o errexit
set -o nounset
set -o pipefail
readonly SOURCE_DIR="${HOME}"
readonly BACKUP_DIR="/mnt/data/backups"
readonly DATETIME="$(date '+%Y-%m-%d_%H:%M:%S')"
readonly BACKUP_PATH="${BACKUP_DIR}/${DATETIME}"
readonly LATEST_LINK="${BACKUP_DIR}/latest"
mkdir -p "${BACKUP_DIR}"
rsync -av --delete \
"${SOURCE_DIR}/" \
--link-dest "${LATEST_LINK}" \
--exclude=".cache" \
"${BACKUP_PATH}"
rm -rf "${LATEST_LINK}"
ln -s "${BACKUP_PATH}" "${LATEST_LINK}"
上面脚本中,每一次同步都会生成一个新目录 ${BACKUP_DIR}/${DATETIME} ,并将软链 ${BACKUP_DIR}/latest 指向这个目录。下一次备份时,就将 ${BACKUP_DIR}/latest 作为基准目录,生成新的备份目录。最后,再将软链接 ${BACKUP_DIR}/latest 指向新的备份目录。
9.配置参数表