文章目录
- sed 命令简介
- sed 参数简介
- 看下服务器上log 日志
- 看下log 日志格式
- 我们设定一个正则表达式来提取指定日期的log
- 正则元字符
针对 Linux 系统下 nginx 访问日志查询.
我们常常会直接上服务器使用 cat ,head , tail 等命令来查看.
但是面对几个G ,甚至几十个G 的log日志文件时,你想定位到多少行到多少行,谈何容易!
所以,今天和大家分享一个按日期提取 log 日志的方法.
sed 命令简介
sed全名叫stream editor,流编辑器,用程序的方式来编辑文本,基本上就是玩正则模式匹配,相当的hacker.
sed 参数简介
-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e ：直接在命令列模式上进行 sed 的动作编辑；
-f ：直接将 sed 的动作写在一个文件内， -f filename 则可以运行 filename 内的 sed 动作；
-r ：sed 的动作支持的是延伸型正规表示法的语法。(默认是基础正规表示法语法)
-i ：直接修改读取的文件内容，而不是输出到终端。
动作说明： [n1[,n2]]function
n1, n2 ：不见得会存在，一般代表『选择进行动作的行数』，举例来说，如果我的动作是需要在 10 到 20 行之间进行的，则『 10,20[动作行为] 』
function：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：列印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！看下服务器上log 日志
一共 21G,
上面2个小文件是我已经按日期提取出来的当天日志.
所有的日志都存储在 access_log 文件中.
看下log 日志格式
xxxx.com 5.53.125.207 - - [24/Feb/2016:12:48:41 +0800] "GET http://xxxx.com/template/images/icon/weibo.png HTTP/1.1" 200 1027主域 ip 请求时间 请求方式 请求地址 http版本
我们可以看到每一条记录都有详细的请求时间,时间格式是 dd/MM/YYYY 而且中间的月份显示的是英文缩写.
我们设定一个正则表达式来提取指定日期的log
sed -n '/16\/Feb\/2016/,/17\/Feb\/2016/p' access_log>20160216.log上面的指令就是通过 sed 命令,把 access_log 日志文件中 2016年2月16日到 2016年2月17日的log 全部过滤出来.
然后写入 20160216.log 文件中
最后分析 20160216.log 文件即可.
当然,也有人可能需要过滤的小时,分钟,秒级别,都是可以的.直接修改上的正则表达式即可.
正则元字符
^ 行首定位符 /^my/ 匹配所有以my开头的行
$ 行尾定位符 /my$/ 匹配所有以my结尾的行
. 匹配除换行符以外的单个字符 /m..y/ 匹配包含字母m，后跟两个任意字符，再跟字母y的行
匹配零个或多个前导字符 /my*/ 匹配包含字母m,后跟零个或多个y字母的行[] 匹配指定字符组内的任一字符 /[Mm]y/ 匹配包含My或my的行
[^] 匹配不在指定字符组内的任一字符 /[^Mm]y/ 匹配包含y，但y之前的那个字符不是M或m的行
(..) 保存已匹配的字符 1,20s/(you)self/\1r/ 标记元字符之间的模式，并将其保存为标签1，之后可以使用\1来引用它
& 保存查找串以便在替换串中引用 s/my/&/ 符号&代表查找串。my将被替换为my
< 词首定位符 /<my/ 匹配包含以my开头的单词的行
> 词尾定位符 /my>/ 匹配包含以my结尾的单词的行
x{m} 连续m个x /9{5}/ 匹配包含连续5个9的行
x{m,} 至少m个x /9{5,}/ 匹配包含至少连续5个9的行
x{m,n} 至少m个，但不超过n个x /9{5,7}/ 匹配包含连续5到7个9的行
