正则扩展内容



1)打印某行到某行之间的内容

示例操作:sed -n '/\[abcfd\]/,/\[rty\]/p' test  
http://ask.apelearn.com/question/559



2)sed转换大小写

sed中,使用\u表示大写,\l表示小写

1. 把每个单词的第一个小写字母变大写:
sed 's/\b[a-z]/\u&/g' filename

2. 把所有小写变大写:
sed 's/[a-z]/\u&/g' filename

3. 大写变小写:
sed 's/[A-Z]/\l&/g' filename  
http://ask.apelearn.com/question/7758



3)sed在某一行最后添加一个数字

#cat  test
askdj
aslkd aslkdjf3e
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj
0
#sed 's/\(^a.*\)/\1 12/' test  (添加数字的具体操作)

askdj 12
aslkd aslkdjf3e  12
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj  12  
http://ask.apelearn.com/question/288



4)删除某行到最后一行

# cat test
a
b
c
d
e
f
# sed '/c/{p;:a;N;$!ba;d}' test ()
a
b
定义一个标签a,匹配c,然后N把下一行加到模式空间里,匹配最后一行时,才退出标签循环,然后命令d,把这个模式空间里的内容全部清除。

if 匹配"c"
:a
追加下一行
if 不匹配"$"
goto a
最后退出循环,d命令删除
chttp://ask.apelearn.com/question/213



5)打印1到100行含某个字符串的行

sed  -n '1,100{/abc/p}'  1.txt   (具体操作) 
http://ask.apelearn.com/question/1048



6)awk 中使用外部shell变量

如:
A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’
说明:-v选项用于定义参数,这里表示将变量A的值赋予GET_A。
有多少个变量需要赋值,就需要多少个-v选项。与之等价的:应用于脚本中:

#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
    echo "[$id]"
    awk -v id2=$id -F ':' '$1==id2 {print $2}' filename  // 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename  
done
附件:
cat filename
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
运行脚本后结果为:
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123http://ask.apelearn.com/question/199



7)awk 合并一个文件

需要把两个文件中,第一列相同的行合并到同一行中。有两个文件,内容如下

cat 1.txt
1 aa
2 bb
3 ee
4 ss
cat 2.txt
1 ab
2 cd
3 ad
4 bd
5 de
合并后的结果为:
1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de
实现的命令为:

awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}'  1.txt  2.txt

解释:NR表示读取的行数, FNR表示读取的当前行数,大家可以运行这个命令 awk '{print NR,FNR}' 1.txt  2.txt,比较NR和FNR

所以其实NR==FNR 就表示读取1.txt的时候。 同理NR>FNR表示读取2.txt的时候

数组a其实就相当于一个map
http://ask.apelearn.com/question/493



8)把一个文件多行连接成一行

一个文件每行都有一个数字,现在需要把每行的数字用“+”连接起来。
cat a
96
1093
1855
1253
1364
1332
2308
2589
2531
1239
2164
2826
2787
2145
2617
4311
1810
2115
1235

awk '{printf ("%s+",$0)}'  a; echo ""
96+1093+1855+1253+1364+1332+2308+2589+2531+1239+2164+2826+2787+2145+2617+4311+1810+2115+1235+
这里注意,最后一个是带“+”的。echo ""  的作用是换行。

另外的方法是 
cat a|xargs|sed 's/ /+/g'
96+1093+1855+1253+1364+1332+2308+2589+2531+1239+2164+2826+2787+2145+2617+4311+1810+2115+1235  
http://ask.apelearn.com/question/266



9)awk中gsub函数的使用

awk 'gsub(/www/,"abc")' /etc/passwd  (passwd文件中把所有www替换为abc)
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd  (替换$1中的www为abc)  
http://ask.apelearn.com/question/200



10)awk 截取指定多个域为一行

用awk指定分隔符把文本分为若干段。如何把相同段的内容弄到一行?

以/etc/passwd为例,该文件以":"作为分隔符,分为了7段。

for i in `seq 1 7`

do

    awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd

    echo 

done  
http://ask.apelearn.com/question/224



11)过滤两个或多个关键词

grep -E '123|abc' filename  (找出文件(filename)中包含123或者包含abc的行)
egrep '123|abc' filename(用egrep同样可以实现)
awk '/123|abc/'  filename (awk 的实现方式)  
http://ask.apelearn.com/question/198



12)用awk生成以下结构文件

#! /bin/bash

for i in `seq 1 5000000`; do
    n=`echo "$i"|awk '{print length($0)}'`
    export m=$[10-$n]
    export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`
    export j=$i
    p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`
    echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"
done  
http://ask.apelearn.com/question/5494



13)awk用print打印单引号

awk 'BEGIN{print "a'"'"'s"}'  (不用脱义,就多写几个单引号、双引号)

awk 'BEGIN{print "a'\''s"}'  (用脱义,脱义的是单引号)

awk 'BEGIN{print "a\"s"}'  (用脱义,脱义的是双引号)  
http://ask.apelearn.com/question/1738



14)合并两个文件

paste  filename1  filename2 

这样就可以实现了。
cat  a.txt
1 2 3 
4 5 6 
a b c
cat b.txt
3 2 1 
6 5 4 
c b a 
则  paste  a.txt  b.txt  结果为
1 2 3   3 2 1
4 5 6   6 5 4
a b c   c b a

想在两个文件连接处用一个指定的字符连接,还可以用-d来指定
paste -d '+'  a.txt b.txt
结果为
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a
http://ask.apelearn.com/question/945



15)awk的BEGIN和END

http://blog.51cto.com/151wqooo/1309851



16)awk的参考教程

(重要的链接)