当前位置: 首页 > GNU/Linux, Linux系统 > 正文

Linux运维利器: SED学习笔记

在项目部署或者是升级阶段经常需要写一下shell脚本做一些自动化的工作。所有python的fabric框架能做一些自动化部署的工作。但是开发效率较低,尤其在各种未知类型的配置文件修改方面。这个时候就轮到Unix 流编辑器sed上场了。

根据笔者在工作中遇到的常见问题以及搜索sed的相关资料,简单总结一下sed的基本使用方法,特整理一份sed学习笔记,以作日常备忘记录。当然,要发掘sed的潜力,则必须对“正则表达式”有足够的理解。正则表达式的资料可以看Mastering Regular Expressions》,笔者也总结了一份正则表达式的使用博文《正则表达式应用》,讲解了正则表达式的基本语法,可以作为参考。

一、sed基本语法

N命令  将下一行的内容纳入当成缓冲区做匹配;

a命令(append)和 i命令(insert),是用来添加行的;

c命令(compare)是替换匹配行;

d命令(delete)删除匹配行;

p命令(print)打印命令。

一、文本间隔

1.1 在每一行后面增加一空行:

sed G

1.2 将原来的所有空行删除并在每一行后面增加一空行,这样在输出的文本中每一行后面将有且只有一空行:

sed '/^$/d;G'

1.3 在每一行后面增加两行空行:

sed 'G;G'

1.4 将第一个脚本所产生的所有空行删除(即删除所有偶数行):

sed 'n;d'

1.5 在匹配式样“regex”的行之前插入一空行:

sed '/regex/{x;p;x;}'

1.6 在匹配式样“regex”的行之后插入一空行:

sed '/regex/G'

1.7 在匹配式样“regex”的行之前和之后各插入一空行:

sed '/regex/{x;p;x;G;}'

二、编 号

2.1 为文件中的每一行进行编号(简单的左对齐方式),这里使用了“制表符”(tab,见本文末尾关于’\t’的用法的描述)而不是空格来对齐边缘:

sed = filename | sed 'N;s/\n/\t/'

2.2 对文件中的所有行编号(行号在左,文字右端对齐):

sed = filename | sed 'N; s/^/     /; s/ *\(.\{6,\}\)\n/\1  /'

2.3 对文件中的所有行编号,但只显示非空白行的行号:

sed '/./=' filename | sed '/./N; s/\n/ /'

2.4 计算行数 (模拟 “wc -l”):

sed -n '$='

三、文本转换和替代

3.1 将每一行前导的“空白字符”(空格,制表符)删除,使之左对齐:

sed 's/^[ \t]*//'

3.2 将每一行拖尾的“空白字符”(空格,制表符)删除:

sed 's/[ \t]*$//'

3.3 将每一行中的前导和拖尾的空白字符删除:

sed 's/^[ \t]*//;s/[ \t]*$//'

3.4 在每一行开头处插入5个空格(使全文向右移动5个字符的位置):

sed 's/^/     /'

3.5 以79个字符为宽度,将所有文本右对齐(78个字符外加最后的一个空格):

sed -e :a -e 's/^.\{1,78\}$/ &/;ta'

3.6 在每一行中查找字串“foo”,并将找到的“foo”替换为“bar”:

 sed 's/foo/bar/'                 # 只替换每一行中的第一个“foo”字串
 sed 's/foo/bar/4'                # 只替换每一行中的第四个“foo”字串
 sed 's/foo/bar/g'                # 将每一行中的所有“foo”都换成“bar”
 sed 's/\(.*\)foo\(.*foo\)/\1bar\2/' # 替换倒数第二个“foo”
 sed 's/\(.*\)foo/\1bar/'            # 替换最后一个“foo”

3.7 只在行中出现字串“baz”的情况下将“foo”替换成“bar”:

sed '/baz/s/foo/bar/g'

3.8 将“foo”替换成“bar”,并且只在行中未出现字串“baz”的情况下替换:

sed '/baz/!s/foo/bar/g'

3.9 不管是“scarlet”“ruby”还是“puce”,一律换成“red”:

sed 's/scarlet/red/g;s/ruby/red/g;s/puce/red/g'  #对多数的sed都有效
gsed 's/scarlet\|ruby\|puce/red/g'               # 只对GNU sed有效

3.10 倒置所有行,第一行成为最后一行,依次类推(模拟“tac”):

sed '1!G;h;$!d'               # 方法1
sed -n '1!G;h;$p'             # 方法2

3.11 将行中的字符逆序排列,第一个字成为最后一字,……(模拟“rev”):

sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'

3.12 将每两行连接成一行(类似“paste”):

sed '$!N;s/\n/ /'

3.13 如果当前行以反斜杠“\”结束,则将下一行并到当前行末尾,并去掉原来行尾的反斜杠:

sed -e :a -e '/\\$/N; s/\\\n//; ta'

3.14 如果当前行以等号开头,将当前行并到上一行末尾,并以单个空格代替原来行头的“=”:

sed -e :a -e '$!N;s/\n=/ /;ta' -e 'P;D'

3.15 为数字字串增加逗号分隔符号,将“1234567”改为“1,234,567”:

gsed ':a;s/\B[0-9]\{3\}\>/,&/;ta'                     # GNU sed
sed -e :a -e 's/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta'  # 其他sed

3.16 在每5行后增加一空白行 (在第5,10,15,20,等行后增加一空白行):

gsed '0~5G'                      # 只对GNU sed有效
sed 'n;n;n;n;G;'                 # 其他sed

四、选择性地显示特定行

4.1 显示文件中的x行:

 # 显示文件中的前10行 (模拟“head”的行为)
 sed 10q

 # 显示文件中的第一行 (模拟“head -1”命令)
 sed q

 # 显示文件中的最后10行 (模拟“tail”)
 sed -e :a -e '$q;N;11,$D;ba'

 # 显示文件中的最后2行(模拟“tail -2”命令)
 sed '$!N;$!D'

 # 显示文件中的最后一行(模拟“tail -1”)
 sed '$!d'                        # 方法1
 sed -n '$p'                      # 方法2

4.2 显示包含“AAA”“BBB”或“CCC”的行:

# 显示包含“AAA”、“BBB”或“CCC”的行(任意次序)
 sed '/AAA/!d; /BBB/!d; /CCC/!d'  # 字串的次序不影响结果

 # 显示包含“AAA”、“BBB”和“CCC”的行(固定次序)
 sed '/AAA.*BBB.*CCC/!d'

 # 显示包含“AAA”“BBB”或“CCC”的行 (模拟“egrep”)
 sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d    # 多数sed
 gsed '/AAA\|BBB\|CCC/!d'                        # 对GNU sed有效

 # 显示包含“AAA”的段落 (段落间以空行分隔)
 # HHsed v1.5 必须在“x;”后加入“G;”,接下来的3个脚本都是这样
 sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'

 # 显示包含“AAA”“BBB”和“CCC”三个字串的段落 (任意次序)
 sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'

4.3 显示指定的行:

 # 显示部分文本——指定行号范围(从第8至第12行,含8和12行)
 sed -n '8,12p'                   # 方法1
 sed '8,12!d'                     # 方法2

 # 显示第52行
 sed -n '52p'                     # 方法1
 sed '52!d'                       # 方法2
 sed '52q;d'                      # 方法3, 处理大文件时更有效率

 # 从第3行开始,每7行显示一次    
 gsed -n '3~7p'                   # 只对GNU sed有效
 sed -n '3,${p;n;n;n;n;n;n;}'     # 其他sed

五、选择性地删除特定行

5.1 删除文件中相邻的重复行(模拟“uniq”),只保留重复行中的第一行,其他行删除:

sed '$!N; /^\(.*\)\n\1$/!P; D'

5.2 删除文件中的重复行,不管有无相邻:

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'

5.3 删除除重复行外的所有行(模拟“uniq -d”):

sed '$!N; s/^\(.*\)\n\1$/\1/; t; D'

5.4 删除文件中的x行:

 # 删除文件中开头的10行
 sed '1,10d'

 # 删除文件中的最后一行
 sed '$d'

 # 删除文件中的最后两行
 sed 'N;$!P;$!D;$d'

 # 删除文件中的最后10行
 sed -e :a -e '$d;N;2,10ba' -e 'P;D'   # 方法1
 sed -n -e :a -e '1,10!{P;N;D;};N;ba'  # 方法2

 # 删除8的倍数行
 gsed '0~8d'                           # 只对GNU sed有效
 sed 'n;n;n;n;n;n;n;d;'                # 其他sed

5.5 删除匹配式样的行(pattern可以换成任何有效的正则表达式):

sed '/pattern/d'

5.6 删除文件中的所有空行(与“grep ‘.’ ”效果相同):

sed '/^$/d'                           # 方法1
sed '/./!d'                           # 方法2

5.7 只保留多个相邻空行的前两行:

sed '/^$/N;/\n$/N;//D'

5.8 删除文件顶部的所有空行:

sed '/./,$!d'

5.9 删除文件尾部的所有空行:

sed -e :a -e '/^\n*$/{$d;N;ba' -e '}'

5.10 删除每个段落的最后一行:

sed -n '/^$/{p;h;};/./{x;/./p;}'

六、其他常见应用

6.1 从邮件头提取“Subject”(标题栏字段),并移除开头的“Subject:”字样:

sed '/^Subject: */!d; s///;q'

6.2 在每一行开头加上一个尖括号和空格(引用信息):

sed 's/^/> /' 

# 相应的,将每一行开头处的尖括号和空格删除:
sed 's/^> //'

6.3 移除大部分的HTML标签(包括跨行标签):

sed -e :a -e 's/<[^>]*>//g;/</N;//ba'

参考学习资料:

SED单行脚本快速参考: http://sed.sourceforge.net/sed1line_zh-CN.html

SED 简明教程: https://coolshell.cn/articles/9104.html



这篇博文由 s0nnet 于2018年08月17日发表在 GNU/Linux, Linux系统 分类下, 通告目前不可用,你可以至底部留下评论。
如无特别说明,独木の白帆发表的文章均为原创,欢迎大家转载,转载请注明: Linux运维利器: SED学习笔记 | 独木の白帆
关键字:

Linux运维利器: SED学习笔记:等您坐沙发呢!

发表评论

快捷键:Ctrl+Enter