Linux 环境下日志文件压缩与多条件查询

精选原创

lww爱学习 2024-12-17 16:28:28 博主文章分类：问题分享 ©著作权

©著作权归作者所有：来自51CTO博客作者lww爱学习的原创作品，请联系作者获取转载授权，否则将追究法律责任

在日常运维和开发中，日志文件的管理和查询是非常重要的一环。为了节省存储空间，通常会对日志文件进行压缩。而在排查问题时，我们可能需要根据多条件从这些日志中快速找到所需信息。

一、压缩日志文件

在 Linux 中，可以使用 gzip、bzip2 或 tar 等工具对日志文件进行压缩。以下是几种常见的日志压缩操作：

示例 1：使用 gzip 压缩日志文件

gzip access.log

此命令会将 access.log 压缩为 access.log.gz，原始文件会被替换。

示例 2：使用 tar 压缩多个日志文件

tar -czvf logs.tar.gz *.log

此命令会将当前目录下的所有 .log 文件打包并压缩为 logs.tar.gz。

示例 3：自动清理并压缩超过 7 天的日志

find /var/log/ -type f -name "*.log" -mtime +7 -exec gzip {} \;

此命令会查找 /var/log/ 目录下超过 7 天未修改的 .log 文件，并使用 gzip 压缩。

二、多条件查询日志

在排查问题时，日志查询通常需要结合多个条件进行过滤。grep 和 awk 是 Linux 中强大的文本处理工具，可以帮助高效查询日志。

示例 1：简单多条件查询

假设我们有如下日志：

2024-12-17 12:00:01 INFO User login success
2024-12-17 12:01:02 ERROR Database connection failed
2024-12-17 12:02:03 INFO User logout

查询同时包含 INFO 和 User 的日志：

grep "INFO" access.log | grep "User"

示例 2：多关键字或条件查询

使用 egrep（扩展的 grep）支持正则表达式：

egrep "INFO|ERROR" access.log

此命令会匹配日志中包含 INFO 或 ERROR 的行。

示例 3：按时间范围查询

使用 awk 按时间范围提取日志：

awk '$1 >= "2024-12-17" && $1 <= "2024-12-18"' access.log

此命令会过滤出日期在 2024-12-17 到 2024-12-18 之间的日志。

示例 4：组合查询（正则表达式）

查询包含 ERROR 且日期为 2024-12-17 的日志：

grep "2024-12-17" access.log | grep "ERROR"

三、实战案例：压缩并查询日志

假设 /var/log/ 目录下存储了大量日志文件，我们需要压缩超过 30 天的日志，并查询最近的错误日志。

压缩超过 30 天的日志：

find /var/log/ -type f -name "*.log" -mtime +30 -exec gzip {} \;

查询最近的错误日志：

zgrep "ERROR" /var/log/*.log.gz

zgrep 可以直接查询 .gz 压缩日志文件。

按时间范围和关键词组合查询：

zcat /var/log/*.log.gz | awk '$1 >= "2024-12-01" && $1 <= "2024-12-17" && /ERROR/'

四、优化与自动化

可以将上述操作封装为脚本，定期执行：

#!/bin/bash

# 压缩超过 30 天未修改的日志
find /var/log/ -type f -name "*.log" -mtime +30 -exec gzip {} \;

# 查询最近 7 天内的错误日志
zgrep "ERROR" /var/log/*.log.gz > recent_errors.log
echo "错误日志已保存到 recent_errors.log"

添加到 crontab，实现每日执行：