sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。然后读入下行,执行下一个循环。如果没有使诸如‘D’的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间。这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等。

    sed和文本处理工具vim、grep是有区别的,vim是一种交互式的文本编辑工具,而sed是一种非交互式的文本编辑器(通过给定的条件自动的逐行去处理文件);grep虽然也是一种流式的文本处理工具,但grep是用来检索条件关键字的,而sed却是搜索匹配处理文本工具。

    sed所具有的功能有:数据的替换、删除、新增等,这里的数据可以是一些关键字,也可以是一些特定的行。

1、sed的语法结构:

    sed [OPTION]... {script} {input-file}...{actions}

常用选项:

    -n:不输出模式空间内容到屏幕,即不自动打印,即静默模式
    -e script 1 -e script 2 -e script 3:指定多脚本运行
    -f:/PATH/SCRIPT_FILE: 从指定的文件中读取脚本并运行
    -r:支持使用扩展正则表达式
    -i:备份文件并原处编辑;直接修改源文件
script: '地址命令'

2、sed的地址定界(抽取的域):
(1) 不给地址:对全文进行处理
(2) 单地址:
    #: 指定的行

    $:最后一行
    /pattern/:被此处模式所能够匹配到的每一行

    %patten%:同上,只不过换作%为边界符

(3) 地址范围:

startline,endline:

    #,#:从#行到#行

    #:#:表示数字,指定行

    #,+#:从#行开始,一直到向下的#行
    /pat1/,/pat2/:从第一次被/pat1/匹配到的行开始,到第一次被/pat2/匹配到的行结束,中间的所有行
    #,/pat1/:从#行开始,到第一次被/pat/所匹配的行结束,中间所有的行
(4) ~:步进
    1~2 奇数行
    2~2 偶数行

first~step:指定起始行,已经步长

3、sed的编辑命令

      d:删除模式空间匹配的行,并立即启用下一轮循环    
      p:打印当前模式空间内容,追加到默认输出之后    
      a \text:在指定行后面追加文本,支持使用\n实现多行追加    
      i \text:在指定行前面插入文本,支持使用\n实现多行插入   
     c \text:用text替换匹配的单行或多行文本    
     w /path/somefile: 保存模式匹配的行至指定文件;把指定的内容另存为/path/somefile路径所指定的文件中    
     r /path/somefile:读取指定文件的文本至模式空间中匹配到的行后;在文件的指定位置插入另一文件的所有内容,完成文件合并    
     =: 为模式空间中的行打印行号    
     !:模式空间中匹配行取反处理
     s/regexp/replacement/:替换由regexp所匹配到的内容为replacement(支持使用其他分隔符,如:s@@@,s###;条件是该分隔符在后面
的模式中没有出现过),对于替换还有两个后选项g和i,分别表示如下:
          替换标记:
            g:行内全局替换;
            i:不区分大小写
             p:显示替换成功的行
             w /PATH/TO/SOMEFILE:将替换成功的行保存至文件中

示例:

(1)删除/app/grub.conf文件中所有行的行首的空白字符

    sed 's/^[[:space:]]//' grub.conf

(2)删除/app/grub.conf文件中所有以#开头,后跟至少一个空白字符的行的行首的#和空白字符

    sed 's/^#[[:space:]]\+//g' /etc/fstab    

(3)把/app/grub.conf文件的奇数行另存为/app/grub.conf.3

(4)echo 一个文件路径给sed命令,取出其基名;进一步地,取出其路径名;

    目录名:echo '/etc/fstab' |sed -nr 's@(.*/)(.*$)@\1@p'
    基名:echo '/etc/fstab' |sed -nr 's@(.*/)(.*$)@\2@p'

4、sed的高级编辑命令

sed除了“模式空间”(patten space),还有一个“hold space”的内存空间,称之为保持空间。

sed工具支持一些高级的命令来运用到保持空间当中,高级命令有:

    P:打印模式空间开端至\n内容,并追加到默认输出之前
    h: 把模式空间中的内容覆盖至保持空间中
    H:把模式空间中的内容追加至保持空间中
    g: 从保持空间取出数据覆盖至模式空间
    G:从保持空间取出内容追加至模式空间
    x: 把模式空间中的内容与保持空间中的内容进行互换
    n: 读取匹配到的行的下一行覆盖至模式空间
    N:读取匹配到的行的下一行追加至模式空间
    d: 删除模式空间中的行
    D:如果模式空间包含换行符,则删除直到第一个换行符的模式空间中的文本,并不会读取新的输入行,而使用合成的模式空间重新启动循环。
            如果模式空间不包含换行符,则会像发出d命令那样启动正常的新循环

注意:命令功能可使用!分号可用于分隔脚本

示例:

seq 1 8 |sed -n 'n;p'  输出偶数行
seq 1 10 |sed '1!G;h;$!d' 或 seq 1 10 |sed -n '1!G;h;$p' 倒序输出
seq 1 10 |sed 'N;D' 或 seq 1 10 |sed '$!d' 只输出最后一行
seq 1 10 |sed '$!N;$!D' 输出倒数后两行
seq 1 10 |sed 'G' 每行后加一个空行
seq 1 10 |sed 'g'  所有行变为空行
cat seq.txt |sed '/^$/d;G' 空行删除,每行后加一个空行,即保证每行后只有一个空行
seq 1 10 |sed 'n;d' 只显示奇数行

5、收集的一些命令集:

    's/\.$//g'   删除以句点结尾行
    '-e /abcd/d'  删除包含abcd的行
    's/[][][]*/[]/g'  删除1个以上空格用1个空格代替
    's/^[][]*//g' 删除行首空格
    's/\.[][]*/[]/g'   删除句点后跟2个或更多空格,以一个空格代替
    '/^$/d'   删除空行
    's/^.//g'    删除第一个字符
    's/COL\(...\)//g'  删除紧跟COL的后三个字母
    's/^\///g'   从路径中删除第一个\
    's/[]/[]//g'  删除所有空格并用tab键代替
    's/^[]//g'   删除所有行首的tab键
    's/[]*//g'   删除所有tab键

作业:
1、在centos6系统/root/install.log每一行行首增加#号
sed 's/^/#/g' /root/install.log           
2、在/etc/fstab文件中不以#开头的行的行首增加#号
sed 's/^[^#]/#/' /etc/fstab
3、利用sed取出ifconfig命令中本机的IPv4地址
ifconfig |sed -nr '2s@^[[:blank:]]+inet[[:blank:]](([0-9]{1,3}\.){3}[0-9]{1,3}).+@\1@p'
4、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
ls /media/Packages/*.rpm |sed -r 's/.*\.(.+)\.rpm$/\1/' |sort |uniq -c
5、统计/etc/init.d/functions文件中每个单词的出现次数,并排序(用grep和sed两种方法分别实现)
cat /etc/init.d/functions |sed -r "s/[^[:alpha:]]/\n/g" |sort |uniq -c |sort -nr
6、将文本文件的n和n+1行合并为一行,n为奇数行
seq 10 | sed "1~2N; s/\n/ /"