IT系统运维：Linux运维三剑客“grep，sed，awk”

IT系统运维：Linux运维三剑客“grep，sed，awk”

在Linux系统运维中，因为基本都是采用命令行的形式。有几款强大的工具需要掌握，属于系统运维工程师的运维利器，功能非常强大。

一. grep

grep（global search regular expression(RE) and print out the line，全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

选项

-d<进行动作> 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep命令将回报信息并停止动作。

-h 当搜索多个文件时，不显示匹配文件名前缀

-i 忽略字符大小写的差别。

-l 列出文件内容符合指定的范本样式的文件名称。

-n 列出所有的匹配的文本行，并显示行号

-r  递归搜索，搜索当前目录和子目录,此参数的效果和指定“-d recurse”参数相同。

-v 反转查找。只显示不匹配的文本行

1. -r递归查找

root@siguorui-OptiPlex-7010:/home/xhprof/trunk# grep -r XHProfRuns_Default *

examples/sample.php:$xhprof_runs = new XHProfRuns_Default();

xhprof_html/callgraph.php:$xhprof_runs_impl = new XHProfRuns_Default();

xhprof_html/typeahead.php:$xhprof_runs_impl = new XHProfRuns_Default();

2. -I的使用，显示文件名称

root@siguorui-OptiPlex-7010:~# grep -I root abc.txt 123.txt passwd

passwd:root:x:0:0:root:/root:/bin/bash

3. -n

root@siguorui-OptiPlex-7010:~# grep -n 'root' passwd

1:root:x:0:0:root:/root:/bin/bash

二.sed

sed是一种流编辑器，它是文本处理中非常重要的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

命令格式

sed [options] 'command' file(s)

sed [options] -f scriptfile file(s)

options常用选项

-e<script>或--expression=<script>：以选项中的指定的script来处理输入的文本文件；

-n或--quiet或——silent：仅显示script处理后的结果；

command常用

a\ 在当前行下面插入文本。

i\ 在当前行上面插入文本。

c\ 把选定的行改为新的文本。

d 删除，删除选择的行。

n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。

s 替换指定字符

p 打印模板块的行。

q 退出Sed。

r file 从file中读行。

w file 写并追加模板块到file末尾。  

1. p 打印相关的行

nl passwd|sed -n '10p' //打印第10行内容

sed -n 'p' passwd

sed -n '/root/p' passwd //正则匹配打印

nl passwd|sed -n '10,20p' //打印第10行到20行

nl passwd|sed -n '/news/,/nobody/p' //用正则来指定一个行的范围

nl passwd|sed -n '10,20!p'  //不选择10到20行,!代表取反

nl passwd|sed -n '1~2p' //间隔行，会输出1,3,5....行

注意，这里一定要加上-n选项，否则每条数据会显示同样的2行。并且无关的其他内容也会显示出来

2. a 在行后面增加内容

root@siguorui-OptiPlex-7010:~# nl passwd|sed '2a **************'

     root:x:0:0:root:/root:/bin/bash

     daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

**************

     bin:x:2:2:bin:/bin:/usr/sbin/nologin

nl passwd|sed '1,2a **************' //在范围内的每一行后面都插入

3. i在行前面插入

root@siguorui-OptiPlex-7010:~# nl passwd|sed '1,2i **************'

**************

     root:x:0:0:root:/root:/bin/bash

**************

     daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

4. c把选定的行改为新的文本

root@siguorui-OptiPlex-7010:~# nl passwd|sed '1c abcd'

abcd

     daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

 //与a,i不同的时，如果这里是一个行的范围则是把这个范围内容替换为当前内容   

root@siguorui-OptiPlex-7010:~# nl passwd|sed '1,3c abcd'

abcd

     ys:x:3:3:sys:/dev:/usr/sbin/nologin

5. d删除行

root@siguorui-OptiPlex-7010:~# nl passwd | sed '/root/d'

     daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin

     bin:x:2:2:bin:/bin:/usr/sbin/nologin

三、awk

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。特点是处理灵活，功能强大。可实现统计、制表以及其他功能。之所以叫AWK是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。

格式

· 命令行格式
awk [options] 'command' file(s)

· 脚本格式
awk -f awk-script-file file(s)

命令形式:

awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file

· [-F|-f|-v] 大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=value

' ' 引用代码块

· BEGIN 初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符

· // 匹配代码块，可以是字符串或正则表达式

· {} 命令代码块，包含一条或多条命令

· ； 多条命令使用分号分隔

· END 结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息

常用内置参数

· 1，$2... 表示整个当前行

· $1 每行第一个字段

· NF 字段数量变量

· NR 每行的记录号，多文件记录递增

· FILENAME 文件名

1. 常用内置参数,2....。通过分隔符指定，按顺序依次为2...。默认分隔符为空格

awk -F ':' '{print "USERNAE:"$1"\t""UID:"$3}' passwd

2. NR，NF，FILENAME

awk -F ':' '{print "Line:"NR,"Col:"NF,"USER:"$1}' passwd

3. 运用printf指定格式来打印

awk -F ':' '{printf("Line:%3s Col:%s User:%s\n",NR,NF,$1)}' passwd

root@siguorui-OptiPlex-7010:~# awk -F ':' '{printf("Line:%3s Col:%s User:%s\n",NR,NF,$1)}' passwd

Line:  1 Col:7 User:root

Line:  2 Col:7 User:daemon

Line:  3 Col:7 User:bin

Line:  4 Col:7 User:sys

...

4. 使用if

awk -F ':' '{if ($3>100) printf("Line:%3s Col:%s User:%s\n",NR,NF,$1)}' passwd

5. 正则和命令结合使用

awk -F ':' '/root/{print $1}' passwd

root@siguorui-OptiPlex-7010:~# awk -F ':' '/root/{print $1}' passwd

root

6. 使用BEGIN和END来制表

awk -F ':' 'BEGIN{print "line  col   user"}{print NR" |"NF" |"$1}END{print "----------------"FILENAME}' passwd

7. 使用BEGIN和END来统计一个目录下文件总计大小

ls -l|awk 'BEGIN{size=0}{size+=$5}END{print " size is "size/1024/1024"M"}'

以上内容由北京艾锑无限科技发展有限公司整理