文档课题:Linux中pigz与gzip工具压缩速度对比测试.
系统:rhel 7.3 64位
数据库:mysql 5.7.21
说明:生产环境中使用gzip压缩程序消耗过多时间,经了解可使用pigz工具缩短备份压缩时间,如下进行相关测试.
1、安装pigz
1.1、安装epel
--安装epel扩展源
[root@localhost ~]# wget -O /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo
[root@localhost ~]# yum makecache
1.2、安装pigz
[root@localhost ~]# yum -y install pigz
2、备份测试
2.1、pigz备份压缩
[mysql@mysql-leo-perslave file]$ /usr/bin/innobackupex --defaults-file=/home/mysql/etc/my.cnf --socket=/mysql/data/mysql.sock --user=root --password=mysql --port=3306 --slave-info --stream=tar --tmpdir=/mysql/bak/full /mysql/bak/file/ 2>/mysql/bak/log_bak/backup.log | pigz -k -p8 >/mysql/bak/file/192.168.133.117_20230814_3306.tar.gz
说明:数据文件4g,用时20230814 16:29:08至20230814 16:30:07,总计59s."-p8"表示使用8个CPU.
--查压缩比率
[mysql@mysql-leo-perslave file]$ pigz -l 192.168.133.117_20230814_3306.tar.gz
compressed original reduced name
845039998 4111431168 79.4% 192.168.133.117_20230814_3306.tar
2.2、解压
[mysql@mysql-leo-perslave file]$ unpigz 192.168.133.117_20230814_3306.tar.gz
[mysql@mysql-leo-perslave file]$ ll
total 4015084
-rw-rw-r--. 1 mysql mysql 4111431168 Aug 14 19:08 192.168.133.117_20230814_3306.tar
drwxr-x---. 7 mysql mysql 4096 Aug 2 00:03 2023-08-01_23-14-21
drwxr-x---. 7 mysql mysql 4096 Aug 1 23:56 2023-08-01_23-29-52
drwxr-x---. 7 mysql mysql 4096 Aug 1 23:57 2023-08-01_23-46-10
[mysql@mysql-leo-perslave file]$ tar -xvf 192.168.133.117_20230814_3306.tar
说明:可以看到pigz压缩的文件解压方式不同.
2.3、gzip备份压缩
[mysql@mysql-leo-perslave file]$ /usr/bin/innobackupex --defaults-file=/home/mysql/etc/my.cnf --socket=/mysql/data/mysql.sock --user=root --password=mysql --port=3306 --slave-info --stream=tar --tmpdir=/mysql/bak/full /mysql/bak/file/ 2>/mysql/bak/log_bak/backup.log |gzip ->/mysql/bak/file/192.168.133.117_20230814_3306.tar.gz
说明:数据文件4g,用时20230814 16:34:20至20230814 16:37:11,总计171s,gzip在时间消耗上是pigz的2.9倍.
参考网址:https://www.linuxprobe.com/linux-pigz-compress.html
Linux中pigz与gzip工具压缩速度对比测试
原创
©著作权归作者所有:来自51CTO博客作者Liujun_Deng的原创作品,请联系作者获取转载授权,否则将追究法律责任
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
pigz快速压缩
官网:http://zlib.net/pigz/简单的说,Pigz就是支持并行压缩的gzip。Pigz默认用当前逻辑cpu个数来
pigz linux 压缩文件 官网 -
linux下多线程压缩命令pigz
linux下多线程压缩命令pigz
linux下多线程压缩命令pigz