Rpa 36 号会员
  •  0 回帖  •  1.1K 浏览  •  2018-10-03 20:11:19
 

sed 详解

sed 介绍

sed 是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern
space），接着用 sed 命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有
改变，除非你使用重定向存储输出。Sed 主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

  • 命令语法
    sed [options] ‘command’ filename
    sed [options] -f scriptfile filename

  • 命令描述
    使用 sed 可以实现 grep 的大部分功能，而且还可以查找替换指定字符。

  • 命令选项
    p 打印出一个文件的全部内容；
    -n 选项 -n 和 p 命令一起使用表示显示 script 处理后的结果；
    -e 在一行中同时使用多个条件；
    -r 代表脱义符;
    -e 在一行命令中同时有多个条件是使用 -e 选项 ;

实战（上）

1. 打印包含某个字符串的行

[root@localhost sed]# sed -n '/root/'p test.txt    //这里的p命令是打印输出， -n选项在有匹配条件的时候需要加上
root❌0:0:root:/root:/bin/bash
operator❌11:0:operator:/root:/sbin/nologin

[root@localhost sed]# sed -n '/r.t/'p test.txt    
operator❌11:0:operator:/root:/sbin/nologin
sshd❌74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

[root@localhost sed]# sed -n '/r*t/'p test.txt
root❌0:0:root:/root:/bin/bash
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
halt❌7:0:halt:/sbin:/sbin/halt
operator❌11:0:operator:/root:/sbin/nologin
ftp❌14:50:FTP User:/var/ftp:/sbin/nologin
systemd-bus-proxy❌999:997:systemd Bus Proxy:/:/sbin/nologin
systemd-network❌192:192:systemd Network Management:/:/sbin/nologin
dbus❌81:81:System message bus:/:/sbin/nologin
polkitd❌998:996:User for polkitd:/:/sbin/nologin
tss❌59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
postfix❌89:89::/var/spool/postfix:/sbin/nologin
sshd❌74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

[root@localhost sed]# sed -nr '/r+o/'p test.txt    //这里的r命令，代表这“/”脱义。如果不加r命令可以写成 sed -n '/r\+o/'p test.txt
root❌0:0:root:/root:/bin/bash
operator❌11:0:operator:/root:/sbin/nologin
systemd-bus-proxy❌999:997:systemd Bus Proxy:/:/sbin/nologin
tss❌59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
chrony❌997:995::/var/lib/chrony:/sbin/nologin

[root@localhost sed]# sed -nr '/o{2}/'p test.txt    //匹配两次带0的列
root❌0:0:root:/root:/bin/bash
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
operator❌11:0:operator:/root:/sbin/nologin
postfix❌89:89::/var/spool/postfix:/sbin/nologin

[root@localhost sed]# sed -nr '/root|bus/'p test.txt    //匹配带有root或者bus的列
root❌0:0:root:/root:/bin/bash
operator❌11:0:operator:/root:/sbin/nologin
systemd-bus-proxy❌999:997:systemd Bus Proxy:/:/sbin/nologin
dbus❌81:81:System message bus:/:/sbin/nologin

2. 打印指定的行

[root@localhost sed]# sed -n '2'p test.txt    //打印test.txt文件的第2行
12222:1o:1:bin

[root@localhost sed]# sed -n '2,5'p test.txt    //打印test.txt文件的第2行到第2行
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin

[root@localhost sed]# sed -n '25,$'p test.txt    //打印test.txt文件的25行到末尾(这里的$代表末尾)
sshd❌74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
chrony❌997:995::/var/lib/chrony:/sbin/nologin
user1❌1000:1000::/home/user1:/bin/bash
user2❌1001:1002::/home/user2:/bin/bash
dd1❌1002:1004::/home/dd1:/bin/bash
user4❌1005:1003::/home/user4:/bin/bash
user5❌1010:1003::/home/dd1:/sbin/nologin
user11❌1011:1011::/home/user11:/bin/bash

[root@localhost sed]# sed '/ss/'p test.txt    //打印test.txt文件的全部内容。或者使用 sed -n '1,$'p test.txt 
mail❌8:12:mail:/var/spool/mail:/sbin/nologin
operator❌11:0:operator:/root:/sbin/nologin
operator❌11:0:operator:/root:/sbin/nologin
games❌12💯games:/usr/games:/sbin/nologin
games❌12💯games:/usr/games:/sbin/nologin
ftp❌14:50:FTP User:/var/ftp:/sbin/nologin
ftp❌14:50:FTP User:/var/ftp:/sbin/nologin
nobody❌99:99:Nobody:/:/sbin/nologin
nobody❌99:99:Nobody:/:/sbin/nologin
...........................

3. 使用 -e 选项一条命令同时有多个条件

[root@localhost sed]# sed -e '1'p -e '/bus/'p -n test.txt
root❌0:0:root:/root:/bin/bash
systemd-bus-proxy❌999:997:systemd Bus Proxy:/:/sbin/nologin
dbus❌81:81:System message bus:/:/sbin/nologin

说明: sed -e ’1’p -e ’/bus/’p -n test.txt 命令 1 是指打印第一行 ； bus
是指匹配带有 bus 的列；
-e 的作用是一条命令同时可以有多个条件。

[root@localhost sed]# sed -e '1'p -e '/root/'p -n test.txt
root❌0:0:root:/root:/bin/bash
root❌0:0:root:/root:/bin/bash
operator❌11:0:operator:/root:/sbin/nologin

说明：可以看出打印出来的结果第 1 行和第 2 行是重复的。其中第 1 行是 命令中 -e ‘1’p 的结果，第 2,3 行是 -e’/root/’p
的结果。 当打印的内容和匹配的内容相同时，会分别显示，互不影响。

实战（下）

  • 命令 I 忽略大小写
[root@localhost sed]# sed -n '/dll/'Ip test.txt
bin❌1:1:bin:/bin:/sbin/nologin/dll
daemon❌2:2:daemon:/sbin:/sbin/nologin/Dll

4. 命令 d 在屏幕上删除指定的行

[root@localhost sed]# wc -l test.txt    //查询文件的行数
32 test.txt
[root@localhost sed]# sed '1,25'd test.txt    //使用命令d删除1到25行的内容。（注意仅仅是在屏幕中删除，实际并没有真正的删除）
chrony❌997:995::/var/lib/chrony:/sbin/nologin
user1❌1000:1000::/home/user1:/bin/bash
user2❌1001:1002::/home/user2:/bin/bash
dd1❌1002:1004::/home/dd1:/bin/bash
user4❌1005:1003::/home/user4:/bin/bash
user5❌1010:1003::/home/dd1:/sbin/nologin
user11❌1011:1011::/home/user11:/bin/bash
[root@localhost sed]# wc -l test.txt    //查询文件的行数
32 test.txt

5. 选项 -i 真实永久的删除文件的指定内容

[root@localhost sed]# wc -l test.txt           //查询文件的行数
32 test.txt
[root@localhost sed]# sed -i '1,25'd test.txt        //删除test.txt文件中的1到25行。
[root@localhost sed]# wc -l test.txt           //查看行数
7 test.txt


[root@localhost sed]# sed -i '/nologin/'d test.txt
[root@localhost sed]# wc -l test.txt
13 test.txt

6. 替换字符或字符串

[root@localhost sed]# sed '1,10s/root/toor/'g test.txt    //在屏幕上替换root为toor并打印（在真实的test.txt文件中并没有真的替换） 这里的1，10是指前10行
toor❌0:0:toor:/toor:/bin/bash
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin/dll
222222:r.o1o:asdfasd
asdfasdf:ol:ddd
daemon❌2:2:daemon:/sbin:/sbin/nologin/Dll
adm❌3:4:adm:/var/adm:/sbin/nologin
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin
sync❌5:0:sync:/sbin:/bin/sync
shutdown❌6:0:shutdown:/sbin:/sbin/shutdown
halt❌7:0:halt:/sbin:/sbin/halt

[root@localhost sed]# sed -r  '1,10s/ro+/ro/'g test.txt |head -10
rot❌0:0:rot:/rot:/bin/bash
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin/dll
222222:r.o1o:asdfasd
asdfasdf:ol:ddd
daemon❌2:2:daemon:/sbin:/sbin/nologin/Dll
adm❌3:4:adm:/var/adm:/sbin/nologin
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin

上例中的 ‘s’ 就是替换的命令， ‘g’ 为本行中全局替换，如果不加 ‘g’ 只换该行中出现的第一个。除了可以使用 ‘/’
作为分隔符外，还可以使用其他特殊字符例如 ‘#’ 或者 ‘@’ 都没有问题。

7. 真实永久的替换文件的内容（注意加 -i 选项）

[root@localhost sed]# sed -i ‘s/ot/to/g’ test.txt | head -n5 test.txt // 由于文件过长，这里只查看前 5 行
rtoo❌0:0:rtoo:/rtoo:/bin/bash
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin/dll

这样就可以直接更改 test.txt 文件中的内容了。

8. 调换两个字符串的位置

[root@localhost sed]# head -5 test.txt
root❌0:0:root:/root:/bin/bash
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin/dll
[root@localhost sed]# head -5 test.txt |sed -r 's/([^:]+):(.*):([^:]+)/\3:\2:\1/'
/bin/bash❌0:0:root:/root:root
bin:1o:1:12222
111:rao:asdfasd
asdfasdf:r>o:f22222
/sbin/nologin/dll❌1:1:bin:/bin:bin

说明：上例中用 () 把所想要替换的字符括起来成为一个整体，因为括号在 sed 中属于特殊符号，所以需要在前面加脱意字符 ‘’, 替换时则写成
‘1’, ‘‘2’, ‘‘3’ 的形式。

9. 在屏幕上指定替换文件中的内容

[root@localhost sed]# head test.txt    //没有替换前的内容
root❌0:0:root:/root:/bin/bash
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin/dll
222222:r.o1o:asdfasd
asdfasdf:ol:ddd
daemon❌2:2:daemon:/sbin:/sbin/nologin/Dll
adm❌3:4:adm:/var/adm:/sbin/nologin
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin
[root@localhost sed]# head test.txt|sed 's/\/root/123/g'    //把/root替换成123，这里的\是脱义
root❌0:0:root:123:/bin/bash
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin/dll
222222:r.o1o:asdfasd
asdfasdf:ol:ddd
daemon❌2:2:daemon:/sbin:/sbin/nologin/Dll
adm❌3:4:adm:/var/adm:/sbin/nologin
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin

10. 真实永久的的替换文件中的内容（注意加 -i）

[root@localhost sed]# sed -i 's/\/root/123/g' test.txt
[root@localhost sed]# head test.txt
root❌0:0:root:123:/bin/bash
12222:1o:1:bin
asdfasd:rao:111
f22222:r>o:asdfasdf
bin❌1:1:bin:/bin:/sbin/nologin/dll
222222:r.o1o:asdfasd
asdfasdf:ol:ddd
daemon❌2:2:daemon:/sbin:/sbin/nologin/Dll
adm❌3:4:adm:/var/adm:/sbin/nologin
lp❌4:7:lp:/var/spool/lpd:/sbin/nologin

11. 在屏幕上把文件上的字母替换成空的（注意如果加上 -i 选项，这就真实永久的替换文件中的内容了）

[root@localhost sed]# head test.txt |sed 's/[a-zA-Z]//g'
::0:0::123://
12222:1:1:
::111
22222:>:
::1:1::/:///
222222:.1:
::
::2:2::/:///
::3:4:://://

12. 在所有的行的最前面加上固定的字符串（注意加 -r）

[root@localhost sed]# head test.txt |sed -r 's/(.*)/aaa.&/'   //还有一种方法 head test.txt |sed -r 's/^/aaa.&/'
aaa.::0:0::123://
aaa.12222:1:1:
aaa.::111
aaa.22222:>:
aaa.::1:1::/:///
aaa.222222:.1:
aaa.::
aaa.::2:2::/:///
aaa.::3:4:://://
aaa.::4:7::///://

总结

  • I 命令表示匹配的结果不区分大小写
  • p 命令是打印输出。
  • -r 选项，代表这“/”脱义。
  • -n 选项在有匹配条件的时候需要加上
  • -e 在一行命令中同时有多个条件是使用 -e 选项
  • d 这个命令是在屏幕上删除某行或多行，要想真实删除到文件中需要加 -i 选项。所以在修改前最好先复制一下文件以免改错。
  • s 就是替换的命令
  • g 为本行中全局替换。
  • \，#，@ 可以作为分隔符，如sed ‘s@/sbin/nologin@123@g’
  • 匹配行开始，如：/sed/ 匹配所有以 sed 开头的行。
  • $ 匹配行结束。
  • . 匹配一个非换行符的任意字符，如：/s.d/ 匹配 s 后接一个任意字符，最后是 d。
  • * 匹配 0 个或多个字符，如：/*sed/ 匹配所有模板是一个或多个空格后紧跟 sed 的行。
  • [] 匹配一个指定范围内的字符，如 /[ss]ed/ 匹配 sed 和 Sed。
  • [^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/ 匹配不包含 A-R 和 T-Z 的一个字母开头，紧跟 ed 的行。
  • 匹配单词的结束，如 /love>/ 匹配包含以 love 结尾的单词的行。
  • x{m} 重复字符 x，m 次，如：/0{5}/ 匹配包含 5 个 0 的行。
  • x{m,} 重复字符 x，至少 m 次，如：/0{5,}/ 匹配至少有 5 个 0 的行。
  • x{m,n} 重复字符 x，至少 m 次，不多于 n 次，如：/0{5,10}/ 匹配 5~10 个 0 的行。