在项目部署或者是升级阶段经常需要写一下shell脚本做一些自动化的工作。所有python的fabric框架能做一些自动化部署的工作。但是开发效率较低，尤其在各种未知类型的配置文件修改方面。这个时候就轮到Unix 流编辑器sed上场了。

根据笔者在工作中遇到的常见问题以及搜索sed的相关资料，简单总结一下sed的基本使用方法，特整理一份sed学习笔记，以作日常备忘记录。当然，要发掘sed的潜力，则必须对“正则表达式”有足够的理解。正则表达式的资料可以看《Mastering Regular Expressions》，笔者也总结了一份正则表达式的使用博文《正则表达式应用》，讲解了正则表达式的基本语法，可以作为参考。

一、sed基本语法

N命令  将下一行的内容纳入当成缓冲区做匹配；

a命令（append）和 i命令（insert），是用来添加行的；

c命令（compare）是替换匹配行；

d命令（delete）删除匹配行；

p命令（print）打印命令。

一、文本间隔

1.1 在每一行后面增加一空行：

sed G

1.2 将原来的所有空行删除并在每一行后面增加一空行，这样在输出的文本中每一行后面将有且只有一空行：

sed '/^$/d;G'

1.3 在每一行后面增加两行空行：

sed 'G;G'

1.4 将第一个脚本所产生的所有空行删除（即删除所有偶数行）：

sed 'n;d'

1.5 在匹配式样“regex”的行之前插入一空行：

sed '/regex/{x;p;x;}'

1.6 在匹配式样“regex”的行之后插入一空行：

sed '/regex/G'

1.7 在匹配式样“regex”的行之前和之后各插入一空行：

sed '/regex/{x;p;x;G;}'

二、编 号

2.1 为文件中的每一行进行编号（简单的左对齐方式），这里使用了“制表符”（tab，见本文末尾关于’\t’的用法的描述）而不是空格来对齐边缘：

sed = filename | sed 'N;s/\n/\t/'

2.2 对文件中的所有行编号（行号在左，文字右端对齐）：

sed = filename | sed 'N; s/^/     /; s/ *\(.\{6,\}\)\n/\1  /'

2.3 对文件中的所有行编号，但只显示非空白行的行号：

sed '/./=' filename | sed '/./N; s/\n/ /'

2.4 计算行数 （模拟 “wc -l”）：

sed -n '$='

三、文本转换和替代

3.1 将每一行前导的“空白字符”（空格，制表符）删除，使之左对齐：

sed 's/^[ \t]*//'

3.2 将每一行拖尾的“空白字符”（空格，制表符）删除：

sed 's/[ \t]*$//'

3.3 将每一行中的前导和拖尾的空白字符删除：

sed 's/^[ \t]*//;s/[ \t]*$//'

3.4 在每一行开头处插入5个空格（使全文向右移动5个字符的位置）：

sed 's/^/     /'

3.5 以79个字符为宽度，将所有文本右对齐（78个字符外加最后的一个空格）：

sed -e :a -e 's/^.\{1,78\}$/ &/;ta'

3.6 在每一行中查找字串“foo”，并将找到的“foo”替换为“bar”：

 sed 's/foo/bar/'                 # 只替换每一行中的第一个“foo”字串
 sed 's/foo/bar/4'                # 只替换每一行中的第四个“foo”字串
 sed 's/foo/bar/g'                # 将每一行中的所有“foo”都换成“bar”
 sed 's/\(.*\)foo\(.*foo\)/\1bar\2/' # 替换倒数第二个“foo”
 sed 's/\(.*\)foo/\1bar/'            # 替换最后一个“foo”

3.7 只在行中出现字串“baz”的情况下将“foo”替换成“bar”：

sed '/baz/s/foo/bar/g'

3.8 将“foo”替换成“bar”，并且只在行中未出现字串“baz”的情况下替换：

sed '/baz/!s/foo/bar/g'

3.9 不管是“scarlet”“ruby”还是“puce”，一律换成“red”：

sed 's/scarlet/red/g;s/ruby/red/g;s/puce/red/g'  #对多数的sed都有效
gsed 's/scarlet\|ruby\|puce/red/g'               # 只对GNU sed有效

3.10 倒置所有行，第一行成为最后一行，依次类推（模拟“tac”）：

sed '1!G;h;$!d'               # 方法1
sed -n '1!G;h;$p'             # 方法2

3.11 将行中的字符逆序排列，第一个字成为最后一字，……（模拟“rev”）：

sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'

3.12 将每两行连接成一行（类似“paste”）：

sed '$!N;s/\n/ /'

3.13 如果当前行以反斜杠“\”结束，则将下一行并到当前行末尾，并去掉原来行尾的反斜杠：

sed -e :a -e '/\\$/N; s/\\\n//; ta'

3.14 如果当前行以等号开头，将当前行并到上一行末尾，并以单个空格代替原来行头的“=”：

sed -e :a -e '$!N;s/\n=/ /;ta' -e 'P;D'

3.15 为数字字串增加逗号分隔符号，将“1234567”改为“1,234,567”：

gsed ':a;s/\B[0-9]\{3\}\>/,&/;ta'                     # GNU sed
sed -e :a -e 's/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta'  # 其他sed

3.16 在每5行后增加一空白行 （在第5，10，15，20，等行后增加一空白行）：

gsed '0~5G'                      # 只对GNU sed有效
sed 'n;n;n;n;G;'                 # 其他sed

四、选择性地显示特定行

4.1 显示文件中的x行：

 # 显示文件中的前10行 （模拟“head”的行为）
 sed 10q

 # 显示文件中的第一行 （模拟“head -1”命令）
 sed q

 # 显示文件中的最后10行 （模拟“tail”）
 sed -e :a -e '$q;N;11,$D;ba'

 # 显示文件中的最后2行（模拟“tail -2”命令）
 sed '$!N;$!D'

 # 显示文件中的最后一行（模拟“tail -1”）
 sed '$!d'                        # 方法1
 sed -n '$p'                      # 方法2

4.2 显示包含“AAA”“BBB”或“CCC”的行：

# 显示包含“AAA”、“BBB”或“CCC”的行（任意次序）
 sed '/AAA/!d; /BBB/!d; /CCC/!d'  # 字串的次序不影响结果

 # 显示包含“AAA”、“BBB”和“CCC”的行（固定次序）
 sed '/AAA.*BBB.*CCC/!d'

 # 显示包含“AAA”“BBB”或“CCC”的行 （模拟“egrep”）
 sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d    # 多数sed
 gsed '/AAA\|BBB\|CCC/!d'                        # 对GNU sed有效

 # 显示包含“AAA”的段落 （段落间以空行分隔）
 # HHsed v1.5 必须在“x;”后加入“G;”，接下来的3个脚本都是这样
 sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'

 # 显示包含“AAA”“BBB”和“CCC”三个字串的段落 （任意次序）
 sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'

4.3 显示指定的行：

 # 显示部分文本——指定行号范围（从第8至第12行，含8和12行）
 sed -n '8,12p'                   # 方法1
 sed '8,12!d'                     # 方法2

 # 显示第52行
 sed -n '52p'                     # 方法1
 sed '52!d'                       # 方法2
 sed '52q;d'                      # 方法3, 处理大文件时更有效率

 # 从第3行开始，每7行显示一次    
 gsed -n '3~7p'                   # 只对GNU sed有效
 sed -n '3,${p;n;n;n;n;n;n;}'     # 其他sed

五、选择性地删除特定行

5.1 删除文件中相邻的重复行（模拟“uniq”），只保留重复行中的第一行，其他行删除：

sed '$!N; /^\(.*\)\n\1$/!P; D'

5.2 删除文件中的重复行，不管有无相邻：

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

5.3 删除除重复行外的所有行（模拟“uniq -d”）：

sed '$!N; s/^\(.*\)\n\1$/\1/; t; D'

5.4 删除文件中的x行：

 # 删除文件中开头的10行
 sed '1,10d'

 # 删除文件中的最后一行
 sed '$d'

 # 删除文件中的最后两行
 sed 'N;$!P;$!D;$d'

 # 删除文件中的最后10行
 sed -e :a -e '$d;N;2,10ba' -e 'P;D'   # 方法1
 sed -n -e :a -e '1,10!{P;N;D;};N;ba'  # 方法2

 # 删除8的倍数行
 gsed '0~8d'                           # 只对GNU sed有效
 sed 'n;n;n;n;n;n;n;d;'                # 其他sed

5.5 删除匹配式样的行（pattern可以换成任何有效的正则表达式）：

sed '/pattern/d'

5.6 删除文件中的所有空行（与“grep ‘.’ ”效果相同）：

sed '/^$/d'                           # 方法1
sed '/./!d'                           # 方法2

5.7 只保留多个相邻空行的前两行：

sed '/^$/N;/\n$/N;//D'

5.8 删除文件顶部的所有空行：

sed '/./,$!d'

5.9 删除文件尾部的所有空行：

sed -e :a -e '/^\n*$/{$d;N;ba' -e '}'

5.10 删除每个段落的最后一行：

sed -n '/^$/{p;h;};/./{x;/./p;}'

六、其他常见应用

6.1 从邮件头提取“Subject”（标题栏字段），并移除开头的“Subject:”字样：

sed '/^Subject: */!d; s///;q'

6.2 在每一行开头加上一个尖括号和空格（引用信息）：

sed 's/^/> /' 

# 相应的，将每一行开头处的尖括号和空格删除：
sed 's/^> //'

6.3 移除大部分的HTML标签（包括跨行标签）：

sed -e :a -e 's/<[^>]*>//g;/</N;//ba'

参考学习资料:

SED单行脚本快速参考: http://sed.sourceforge.net/sed1line_zh-CN.html

SED 简明教程: https://coolshell.cn/articles/9104.html