linux shell sed

sed在处理文本时是逐行读取文件内容，读到匹配的行就根据指令做操作，不匹配就跳过。

1. 什么是sed

sed是Linux下一款功能强大的非交互流式文本编辑器，可以对文本文件进行增、删、改、查等操作，支持按行、按字段、按正则匹配文本内容，灵活方便，特别适合于大文件的编辑。本文主要介绍sed的一些基本用法，并通过shell脚本演示sed的使用实例。

2. sed的使用方法

[root@localhost ~] # sed [选项] ‘[动作]’ 文件名

sed的常用选项：
-r：使用扩展正则表达式
-e：它告诉sed将下一个参数解释为一个sed指令，只有当命令行上给出多个sed指令时才需要使用-e选项
-f：后跟保存了sed指令的文件
-i：直接对内容进行修改，不加-i时默认只是预览，不会对文件做实际修改
-n：取消默认输出，sed默认会输出所有文本内容，使用-n参数后只显示处理过的行

sed中的编辑命令：
a:追加 向匹配行后面插入内容
c:更改 更改匹配行的内容
i:插入 向匹配行前插入内容
d:删除 删除匹配的内容
s:替换 替换掉匹配的内容
p:打印 打印出匹配的内容，通常与-n选项和用
=:用来打印被匹配的行的行号
n:读取下一行，遇到n时会自动跳入下一行
r,w：读和写编辑命令，r用于将内容读入文件，w用于将匹配内容写入到文件

工作常用技巧总结

1. 添加文本到文件的第一行和最后一行

sed -i '1i添加的内容' filename # 在第一行前添加字符串 
sed -i '$i添加的内容' filename # 在最后一行行前添加字符串 
sed -i '$a添加的内容' filename # 在最后一行行后添加字符串

亲测可用！

2. linux shell sed 替换的字符串 包含 单引号如何处理

问题描述：
linux中sed命令替换包含引号、斜杠等特殊字符的的使用

解决方案：
在字符替换中，可能会遇见引号，“/”等的替换，这时应该注意，sed的命令原型是：

sed -i  "s/oldstring/goalstring/g" file

如果一个路径是data/path/abc,现在要将此路径换成一个字符串cde

但是这时跟在s后边的其实是分隔符，用以将oldstring替换成cde;他可以使用任意字符，这时如果字符串中有“/”，就会发生混乱，在这个时候可以用#当做分隔符，就变成

sed -i "s#abc#cde#g" file

这时如果abc中包含“/”就可以随便替换了；

引号的替换：
需要将引号转义，使用反斜杠“\”，比如替换" ’ ‘div’ ’ “，如果需要将它替换成‘div’ ;可以使用sed -i s#”‘’#'#g就能替换了。

引号替换demo：
如下demo，我们把 #listen_addresses = 开头的行，替换为listen_addresses = ‘*’

sed -i 's/#listen_addresses =.*/listen_addresses = \'*\''/ $pg_conf

3. 获取文件中 ${xxx} 中的变量字符xxx

# sed -n 's/^[^#].*${\(.*\)}.*/\1/p' xxx.sh
REDIS_HOST
REDIS_PORT
REDIS_PASSWORD

4. 注释特定字符串，多次执行不要重复注释

例如：nginx如下部分配置,我要注释 auth_request /auth_check;, auth_request并不在行首

location = /api/v1/xxx {
                auth_request /auth_check;

命令

sed -i '/auth_request.auth_check;/ s/^\sauth_request.*auth_check;/# &/' /home/conf/nginx.conf

在正则表达式 /auth_request.*auth_check;/ 中，我们使用 .* 来匹配任意数量的字符（除换行符外）。

在替换部分 s/^\s*auth_request.*auth_check;/# &/ 中，我们使用了 ^\s* 来匹配行首的空格或制表符。这将确保我们只在行首添加注释符号 #。

但是上面命令，在多次执行相同的 sed 命令时，会导致多个 # 注释符号的添加。

为了避免重复注释，可以使用以下命令：

sed -i '/auth_request.*auth_check;/ {/^#/! s/^\s*\(auth_request.*auth_check;\)/# \1/}' /home/nginx.conf

在这个命令中，我们使用了条件语句 {} 来限制对行的替换。其中的 /auth_request.*auth_check;/ 是用于匹配包含 auth_request 和 auth_check; 的行。

然后，我们使用另一个条件 /^#/! 来检查行是否已经以 # 注释符号开头。如果行不以 # 开头，我们才进行替换操作，使用 s/^\s*\(auth_request.*auth_check;\)/# \1/ 将行首的 auth_request 和 auth_check; 注释。

通过这种方式，只有在行不以 # 注释符号开头时，才会进行替换操作，从而避免了重复添加 # 注释符号的问题。

在 sed 命令中：

  • -i 参数用于直接修改文件内容（in-place），而不是打印到标准输出。
  • /auth_request.*auth_check;/ 是一个正则表达式模式，用于匹配包含 auth_request 和 auth_check; 的行。
  • s/^\s*\(auth_request.*auth_check;\)/# \1/ 是替换操作的部分。
  • s/ 是替换操作的起始标记。
  • ^\s*\(auth_request.*auth_check;\) 是要匹配和捕获的模式。
  • ^ 表示行首。
  • \s* 匹配零个或多个空格或制表符。
  • \(auth_request.*auth_check;\) 用括号将 auth_request 和 auth_check; 包裹起来，以捕获这一部分内容，可以在替换中使用 \1 进行引用。
  • /# \1/ 是替换操作的目标。
  • # 是要添加的注释符号。
  • \1 是对之前捕获的内容的引用，即 auth_request.*auth_check;。
    因此，该命令的作用是查找包含 auth_request 和 auth_check; 的行，并在行首添加一个 # 注释符号。

添加完注释，如何恢复呢？

sed 去掉某个字符串 所在的行首的

location = /api/v1/xxx {
#               auth_request /auth_check;
        }

命令：

sed -i '/^# .*auth_request.*auth_check;/ s/^# \(.*auth_request.*auth_check;\)/\1/' /home/conf/nginx.conf

这个命令使用了正则表达式来匹配以 # 注释开头，并包含 auth_request /auth_check; 的行，然后执行替换操作。

  • /^# .*auth_request.*auth_check;/ 是正则表达式模式，用于匹配以 # 注释开头，并且包含 auth_request /auth_check; 的行。
  • s/^# \(.*auth_request.*auth_check;\)/\1/ 是替换操作部分
  • s/ 是替换操作的起始标记。
  • ^# \(.*auth_request.*auth_check;\) 是要匹配和捕获的模式。
  • ^# 匹配以 # 注释开头的行。
  • \(.*auth_request.*auth_check;\) 使用括号将 auth_request 和 auth_check; 部分包裹起来，以捕获这一部分内容，以便在替换中使用 \1 进行引用。
  • \1 是对之前捕获的内容的引用，即 .*auth_request.*auth_check;，将其保留在替换中。

该命令的作用是查找以 # 注释开头，并包含 auth_request /auth_check; 的行，然后将行首的注释符号 # 移除，恢复该配置行的原始状态。