linux三剑客之awk
目录
- linux三剑客之awk
- 1、awk的语法
- 2、参数
- 3、awk的生命周期
- 4、awk中的预定义变量
- 5、awk处理规则的执行流程
- 6、awk中的函数
- 7、awk中的定位
- 1、正则表达式
- 2、比较表达式(作用的是文本内的内容)
- 3、逻辑表达式
- 4、算术表达式
- 5、条件表达式(作用的是文本外的内容)
- 6、范围表达式
- 8、流程控制
- if用法
- for用法
- while用法
linux三剑客之awk
适用范围:awk主要是用来格式化文本。
1、awk的语法
语法格式:awk [参数] [处理规则] [操作对象]
2、参数
参数 作用
-F
指定文本分隔符(不写默认是以空格作为分隔符)
3、awk的生命周期
grep、sed和awk都是读一行处理一行,直至处理完成。1、接收一行作为输入
2、把刚刚读入进来得到文本进行分解
3、使用处理规则处理文本
4、输入一行,赋值给$0,直至处理完成
5、把处理完成之后的所有的数据交给END{}来再次处理
4、awk中的预定义变量
变量 作用
$0
代表当前行
$n
代表第n列
NF
代指当前行的总字段数
NR
代指行号
FS
指定文本内容分隔符,优先级要高于 -F,默认是空格
OFS
指定打印的分隔符,是自定义的分隔符,默认是空格
# NF(代指数字,每行被分割后的总字段数)[root@zonghan ~]# cat 8.txt
asfsdgs asdsad asdasdsa
sdfsdfas sadasdsad
aSD asd
asd asdsad sad
asdasd
asdasdas sadsadasd
asdasd asdsadssfgsad sadsa
[root@zonghan ~]# awk "{print NF}" 8.txt
3
2
2
3
1
2
3
0
[root@zonghan ~]# awk "{print $NF}" 8.txt
asdasdsa
sadasdsad
asd
sad
asdasd
sadsadasd
sadsa # $NF就是变相于打印NF所代表的列,又因为NF是总字段数,所以是打印最后一列
# $0(代指代表当前行)
[root@zonghan ~]# awk -F: "{print $0, "---"}" 8.txt
asfsdgs asdsad asdasdsa ---
sdfsdfas sadasdsad ---
aSD asd ---
asd asdsad sad ---
asdasd ---
asdasdas sadsadasd ---
asdasd asdsadssfgsad sadsa ---
--- # 由此可以得出$0是代指的每一行的内容
# $n (代表第n列)
[root@zonghan ~]# awk "{print $1}" 8.txt
asfsdgs
sdfsdfas
aSD
asd
asdasd
asdasdas
asdasd # 打印的是第1列
[root@zonghan ~]# awk "{print $2}" 8.txt
asdsad
sadasdsad
asd
asdsad
# 这里因为文本没第二列 所以为空
sadsadasd
asdsadssfgsad # 打印的是第2列
# NR(代指行号)
[root@zonghan ~]# awk "{print NR}" 8.txt
1
2
3
4
5
6
7
8
# FS(指定文本内容分隔符,优先级要高于 -F,默认是空格)
[root@zonghan ~]# cat /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
[root@zonghan ~]# awk -F: "BEGIN{FS="x"}{print $NF}" /etc/passwd
:0:0:root:/root:/bin/bash
:1:1:bin:/bin:/sbin/nologin
:2:2:daemon:/sbin:/sbin/nologin # 这里可以看出是以x分割而不是以-F的:分割的,所以优先级高于-F
# 0FS(指定打印的分隔符,自定义的分隔符,默认是空格)
[root@zonghan ~]# awk -F: "BEGIN{OFS=">>>"}{print $1, $NF}" /etc/passwd
root>>>/bin/bash
bin>>>/sbin/nologin
daemon>>>/sbin/nologin
5、awk处理规则的执行流程
# 至少1个,最多4个 按以下顺序BEGIN{} # 括号里面内容会在awk读取文件之前执行
// # 正则表达式
{} # 循环
END{} # 括号里面内容会在awk读取文件之后执行
6、awk中的函数
函数名 作用
打印
printf
格式化打印
%s
字符串
%d
数字
-
左对齐
+
右对齐
15
至少占用15字符
# 格式化打印[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%s|%s|
", $1, $NF}" /etc/passwd
|root|/bin/bash|
|bin|/sbin/nologin|
|daemon|/sbin/nologin|
[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%-15s|%s|
", $1, $NF}" /etc/passwd
|root |/bin/bash|
|bin |/sbin/nologin|
|daemon |/sbin/nologin|
[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%-15s|%-15s|
", $1, $NF}" /etc/passwd
|root |/bin/bash |
|bin |/sbin/nologin |
|daemon |/sbin/nologin |
[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%+15s|%+15s|
", $1, $NF}" /etc/passwd
| root| /bin/bash|
| bin| /sbin/nologin|
| daemon| /sbin/nologin|
[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%+15s|%-15s|
", $1, $NF}" /etc/passwd
| root|/bin/bash |
| bin|/sbin/nologin |
| daemon|/sbin/nologin |
7、awk中的定位
1、正则表达式
# 打印出包含root的所有行[root@zonghan ~]# awk -F: "/root/{print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
# 打印以root开头的所有行
[root@zonghan ~]# awk -F: "/^root/{print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
2、比较表达式(作用的是文本内的内容)
符号 作用
>
筛选大于的数据
>=
筛选大于等于的数据
<
筛选小于的数据
<=
筛选小于等于的数据
~
包含(和正则连用)
!~
不包含(和正则连用)
# 打印第四列比第三列数值大的所有行信息[root@zonghan ~]# awk -F: "$4>$3{print $0}" /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
# 结尾包含bash的行
[root@zonghan ~]# awk -F: "$NF ~ /bash/{print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
haha:x:1000:1000::/home/haha:/bin/bash
test1:x:1001:1000::/home/test1:/bin/bash
# 结尾不包含bash的行
[root@zonghan ~]# awk -F: "$NF !~ /bash/{print $0}" /etc/passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
3、逻辑表达式
符号 作用
&&
逻辑与
| |
逻辑或
!
逻辑非
# 打印第3列和第4列既要相加大于2000又要相乘大于2000的所有行[root@zonghan ~]# awk -F: "$3+$4>2000 && $3*$4>2000{print $0}" /etc/passwd
test1:x:1001:1000::/home/test1:/bin/bash
test2:x:1002:1000::/home/test2:/bin/bash
data:x:2000:2000::/home/data:/bin/bash
aaa:x:2001:2001::/home/aaa:/bin/bash
bbb:x:2002:2001::/home/bbb:/bin/bash
ddd:x:2003:1000::/home/ddd:/bin/bash
eee:x:1999:1999::/home/eee:/bin/bash
fff:x:1500:1500::/home/fff:/bin/bash
# 打印第3列和第4列相加大于2000或者相乘大于2000的所有行
[root@zonghan ~]# awk -F: "$3+$4>2000 || $3*$4>2000{print $0}" /etc/passwd
daemon:/dev/null:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
haha:x:1000:1000::/home/haha:/bin/bash
test1:x:1001:1000::/home/test1:/bin/bash
test2:x:1002:1000::/home/test2:/bin/bash
data:x:2000:2000::/home/data:/bin/bash
aaa:x:2001:2001::/home/aaa:/bin/bash
bbb:x:2002:2001::/home/bbb:/bin/bash
ddd:x:2003:1000::/home/ddd:/bin/bash
eee:x:1999:1999::/home/eee:/bin/bash
fff:x:1500:1500::/home/fff:/bin/bash
# 打印第3列和第4列相加不大于2000或者相乘不大于2000的所有行
[root@zonghan ~]# awk -F: "!($3+$4>2000 || $3*$4>2000){print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
4、算术表达式
符号 作用
+
加
-
减
*
乘
/
除
==
等于
%
余
# 打印第3列加第4列数值大于3000(属主+属组>3000)的行[root@zonghan ~]# awk -F: "$3+$4>3000{print $0}" /etc/passwd
data:x:2000:2000::/home/data:/bin/bash
aaa:x:2001:2001::/home/aaa:/bin/bash
bbb:x:2002:2001::/home/bbb:/bin/bash
ddd:x:2003:1000::/home/ddd:/bin/bash
eee:x:1999:1999::/home/eee:/bin/bash
# 打印第3列乘第4列数值大于50(属主+属组>3000)的行
[root@zonghan ~]# awk -F: "$3*$4<50{print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
# 打印所有奇数行
[root@zonghan ~]# awk -F: "NR%2==1{print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
5、条件表达式(作用的是文本外的内容)
符号 限制条件
==
相等
>
大于
>=
大于等于
<
小于
<=
小于等于
# 打印第3行的内容[root@zonghan ~]# awk -F: "NR==3{print $0}" /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
# 打印前4行的的内容
[root@zonghan ~]# awk -F: "NR<=4{print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
6、范围表达式
符号 作用
逗号 ,
什么行至什么行
# 打印出以root开头的行到以ftp开头的行[root@zonghan ~]# awk -F: "/^root/,/^ftp/{print $0}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
8、流程控制
特别注意:只存在循环{ }之中
符号 用法
if
判断
for
循环
while
循环
if用法
语法:
{ if ( ) { } }
{ if ( ) { } else { } }
{ if ( ) { } else if ( ) { } else { } }
# 判断第3行与第4行数值的大小,输出比较结果[root@zonghan ~]# awk -F: "{if($3>$4){print "大于"} else {print "小于等于"}" /etc/passwd
小于等于
小于等于
小于等于
小于等于
小于等于
大于
大于
for用法
语法:
{ for (i=初始值; 条件判断; 游标) { } }
# 每行打印3次[root@zonghan ~]# awk -F: "{for(i=0;i<3;i++1){print $0}}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
...
while用法
语法 :
{ i=初始值 ; while(条件判断) { } }
# 每行打印3次[root@zonghan ~]# awk -F: "{i=0;while(i<3){i++;print $0}}" /etc/passwd
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
...
# 如果想打印i数字的变化,可以在print里加上i++
[root@zonghan ~]# awk -F: "{i=0;while(i<3){print $0, i++}}" /etc/passwd
root:x:0:0:root:/root:/bin/bash 0
root:x:0:0:root:/root:/bin/bash 1
root:x:0:0:root:/root:/bin/bash 2
bin:x:1:1:bin:/bin:/sbin/nologin 0
bin:x:1:1:bin:/bin:/sbin/nologin 1
bin:x:1:1:bin:/bin:/sbin/nologin 2
daemon:x:2:2:daemon:/sbin:/sbin/nologin 0
daemon:x:2:2:daemon:/sbin:/sbin/nologin 1
daemon:x:2:2:daemon:/sbin:/sbin/nologin 2
...
以上是 linux三剑客之awk 的全部内容, 来源链接: utcz.com/z/520128.html