一、awk简介
1.awk简介：报告生成器，文本格式化输出；遍历文件
命名： Aho, Weinberger, Kernighan采用三个作者的名称首字母简写
版本：awk、Nawk(New AWK, NAWK)、gawk((GNU版本的awk)
注意：Linux上使用的awk实际上是gawk，awk为gawk的一个链接文件
[root@localhost ~]# ls -l /usr/bin/awk
lrwxrwxrwx. 1 root root 14 Dec 30 23:58 /usr/bin/awk ->../../bin/gawk
2.gawk- pattern scanning and processing language模式扫描及解释语言
gawk本质上来说也是编程语言，脚本编程语言解释器，过程式编程语言
基本用法：gawk [options] 'program_text' FILE ...
program_text :PATTERN{ACTION STATEMENTS}模式{动作语句}
多个动作语句之间用分号分隔，此处模式更多是地址定界的意味
[options]
-F：指明输入时用到的字段分隔符，默认为空格；
-v var=value: 用于实现自定义变量；
[ACTION]
(1) Expressions表达式：比较表达式、算数表达式等
(2) Controlstatements控制语句：if, while等；
(3) Compound statements：组合语句；
(4) input statements输入语句
(5) outputstatements输出语句
二、gawk详解
基本用法：gawk|awk [options] 'program' FILE …
gawk [options] -f 'program_file' FILE … 从文件中读取配置
切割成片段时候显示某一段或几段$1,$2,$3，逗号分隔… …$0 表示整行全部片段
1.print：输出命令
print item1,item2, …
注意：
(1)逗号分隔符每项，用以说明多个字段，不显示，输出时候任然以空格分开；
(2)输出的各item可以字符串、数值、当前记录的字段、变量或awk的表达式；
(3)直接使用print，省略item，相当于print $0，打印整行
2.变量
(1)内建变量：var=value格式
FS：input field seperator，输入字段分隔符，默认为空白字符；
OFS：output field seperator，输出字段分隔符，默认为空白字符；
RS：inputrecord seperator，输入时的换行符；
ORS：outputrecord seperator，输出时的换行符；
NF：number of field，显示字段数量
NR：numberof record, 行数；
FNR：各文件分别计数；行数；
FILENAME：当前文件名；
ARGC：命令行参数的个数；
ARGV：数组，保存的是命令行所给定的各参数；
注意：
{print NF}和{print $NF}的区别：
[root@localhost tmp]# tail -4 /etc/fstab | awk '{print NF}'显示有多少字段
[root@localhost tmp]# tail -4 /etc/fstab | awk '{print $NF}'显示第几个$内容
(2)自定义变量
1)-v var=value 变量名区分字符大小写，引用变量在awk中无需加$符号
2)在program中可以可以直接定义自定义变量，使用时候直接定义变量
3.printf命令：输出显示
(1)格式化输出：printf FORMAT,item1, item2, ...
1)FORMAT必须给出;
2)不会自动换行，需要显式给出换行控制符，\n
3)FORMAT中需要分别为后面的每个item指定一个格式化符号；
(2)格式符：
%c:显示字符的ASCII码；
%d,%i: 显示十进制整数；
%e,%E: 科学计数法数值显示；
%f：显示为浮点数；
%g,%G：以科学计数法或浮点形式显示数值；
%s：显示字符串；
%u：无符号整数；
%%:显示%自身；
(3)修饰符：
#[.#]：第一个数字控制显示的宽度；第二个#表示小数点后的精度；默认右对齐，如%3.1f
-: 左对齐
+：显示数值的符号，正负数符号
实例：[root@localhost tmp]# head -5 /etc/passwd | awk -F: '{printf"Username: %-10s, UID:%d\n",$1,$3}'
-F：指明字段分隔符，%-10s十个字符左对齐，\n换行默认不换行
4.操作符
(1)算术操作符
加减乘除次方取模：x+y, x-y, x*y, x/y, x^y, x%y
负值：-x
将字符串 转换为数值：+x
(2)字符串操作符：没有符号的操作符，字符串连接
(3)赋值操作符：
=, +=, -=, *=, /=, %=, ^=
++, --：自加、自减
(4)比较操作符： >, >=, <, <=, !=, ==
(5)模式匹配符：~表示是否匹配、!~表示是否不匹配
(6)逻辑操作符：&& || !
(7)函数调用：function_name(argu1, argu2, ...)
(8)条件表达式：selector?if-true-expression:if-false-expression
# awk-F: '{$3>=1000?usertype="Common User":usertype="Sysadmin orSysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd
5.PATTERN可用样式
(1) empty：空模式，匹配任意一行；
(2) /regularexpression/：仅处理能够被此处的模式匹配到的行，正则表达式；
(3) relational expression: 关系表达式，比较表达式
结果为“真”才会被处理；真表示结果为非0值、非空字符串；
(4) line ranges：指明行范围
startline,endline：以NR的条件判断的形式显示
/pat1/,/pat2/：模式匹配方法
注意： 不支持直接给出数字的格式，Eg：~]# awk -F:'(NR>=2&&NR<=10){print $1}' /etc/passwd
(5)BEGIN/END模式
BEGIN{}: 仅在开始处理文件中的文本之前执行一次；
END{}：仅在文本处理完成之后执行一次；
6.控制语句
(1)if-else
语法：if(condition)statement [else statement]
使用场景：对awk取得的整行或某个字段做条件判断；
示例：
~]# awk -F:'{if($3>=1000) {printf "Common user: %s\n",$1} else {printf"root or Sysuser: %s\n",$1}}' /etc/passwd
~]# awk -F:'{if($NF=="/bin/bash") print $1}' /etc/passwd
~]# awk'{if(NF>5) print $0}' /etc/fstab
~]# df -h | awk-F[%] '/^\/dev/{print $1}' | awk '{if($NF>=20) print $1}'
(2)while循环
语法：while(condition)statement
条件“真”，进入循环；条件“假”，退出循环；
使用场景：对一行内的多个字段逐一类似处理时使用；对数组中的各元素逐一处理时使用；
~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i); i++}}'/etc/grub2.cfg
~]#awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=7) {print$i,length($i)}; i++}}' /etc/grub2.cfg
(3)do-while循环
语法：dostatement while(condition)
意义：至少执行一次循环体
(4)for循环
语法：for(expr1;expr2;expr3)statement
for(variableassignment;condition;iteration process) {for-body}
~]#awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}'/etc/grub2.cfg
特殊用法：
能够遍历数组中的元素；
语法：for(varin array) {for-body}
(5)switch语句
语法：switch(expression){case VALUE1 or /REGEXP/: statement; case VALUE2 or /REGEXP2/: statement; ...;default: statement}
(6)break和continue
break[n]
continue
(7)next
提前结束对本行的处理而直接进入下一行；
~]# awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd
7.array
关联数组：array[index-expression]
index-expression:
(1)可使用任意字符串；字符串要使用双引号；
(2)如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值初始化为“空串”；
若要判断数组中是否存在某元素，要使用"index in array"格式进行；
weekdays[mon]="Monday"
若要遍历数组中的每个元素，要使用for循环：for(var in array) {for-body}
~]# awk'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";for(iin weekdays) {print weekdays[i]}}'
注意：var会遍历array的每个索引；
state["LISTEN"]++
state["ESTABLISHED"]++
~]#netstat -tan | awk '/^tcp\>/{state[$NF]++}END{for(i in state) { printi,state[i]}}'
~]#awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log
8.函数
(1)内置函数
数值处理：rand()：返回0和1之间一个随机数；
字符串处理：length([s])：返回指定字符串的长度；
sub(r,s,[t])：以r表示的模式来查找t所表示的字符中的匹配的内容，并将其第一次出现替换为s所表示内容；
gsub(r,s,[t])：以r表示的模式来查找t所表示的字符中的匹配的内容，并将其所有出现均替换为s所表示的内容；
split(s,a[,r])：以r为分隔符切割字符s，并将切割后的结果保存至a所表示的数组中；
示例：# netstat-tan | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for (i incount) {print i,count[i]}}'
(2)自定义函数
