linux三剑客之awk

编程

目录

  • linux三剑客之awk
    • 1、awk的语法
    • 2、参数
    • 3、awk的生命周期
    • 4、awk中的预定义变量
    • 5、awk处理规则的执行流程
    • 6、awk中的函数
    • 7、awk中的定位
      • 1、正则表达式
      • 2、比较表达式(作用的是文本内的内容)
      • 3、逻辑表达式
      • 4、算术表达式
      • 5、条件表达式(作用的是文本外的内容)
      • 6、范围表达式
    • 8、流程控制
      • if用法
      • for用法
      • while用法

linux三剑客之awk

适用范围:awk主要是用来格式化文本。

1、awk的语法

语法格式:awk [参数] [处理规则] [操作对象]

2、参数

参数

作用

-F

指定文本分隔符(不写默认是以空格作为分隔符)

3、awk的生命周期

grep、sed和awk都是读一行处理一行,直至处理完成。

1、接收一行作为输入

2、把刚刚读入进来得到文本进行分解

3、使用处理规则处理文本

4、输入一行,赋值给$0,直至处理完成

5、把处理完成之后的所有的数据交给END{}来再次处理

4、awk中的预定义变量

变量

作用

$0

代表当前行

$n

代表第n列

NF

代指当前行的总字段数

NR

代指行号

FS

指定文本内容分隔符,优先级要高于 -F,默认是空格

OFS

指定打印的分隔符,是自定义的分隔符,默认是空格

# NF(代指数字,每行被分割后的总字段数)

[root@zonghan ~]# cat 8.txt

asfsdgs asdsad asdasdsa

sdfsdfas sadasdsad

aSD asd

asd asdsad sad

asdasd

asdasdas sadsadasd

asdasd asdsadssfgsad sadsa

[root@zonghan ~]# awk "{print NF}" 8.txt

3

2

2

3

1

2

3

0

[root@zonghan ~]# awk "{print $NF}" 8.txt

asdasdsa

sadasdsad

asd

sad

asdasd

sadsadasd

sadsa # $NF就是变相于打印NF所代表的列,又因为NF是总字段数,所以是打印最后一列

# $0(代指代表当前行)

[root@zonghan ~]# awk -F: "{print $0, "---"}" 8.txt

asfsdgs asdsad asdasdsa ---

sdfsdfas sadasdsad ---

aSD asd ---

asd asdsad sad ---

asdasd ---

asdasdas sadsadasd ---

asdasd asdsadssfgsad sadsa ---

--- # 由此可以得出$0是代指的每一行的内容

# $n (代表第n列)

[root@zonghan ~]# awk "{print $1}" 8.txt

asfsdgs

sdfsdfas

aSD

asd

asdasd

asdasdas

asdasd # 打印的是第1列

[root@zonghan ~]# awk "{print $2}" 8.txt

asdsad

sadasdsad

asd

asdsad

# 这里因为文本没第二列 所以为空

sadsadasd

asdsadssfgsad # 打印的是第2列

# NR(代指行号)

[root@zonghan ~]# awk "{print NR}" 8.txt

1

2

3

4

5

6

7

8

# FS(指定文本内容分隔符,优先级要高于 -F,默认是空格)

[root@zonghan ~]# cat /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

[root@zonghan ~]# awk -F: "BEGIN{FS="x"}{print $NF}" /etc/passwd

:0:0:root:/root:/bin/bash

:1:1:bin:/bin:/sbin/nologin

:2:2:daemon:/sbin:/sbin/nologin # 这里可以看出是以x分割而不是以-F的:分割的,所以优先级高于-F

# 0FS(指定打印的分隔符,自定义的分隔符,默认是空格)

[root@zonghan ~]# awk -F: "BEGIN{OFS=">>>"}{print $1, $NF}" /etc/passwd

root>>>/bin/bash

bin>>>/sbin/nologin

daemon>>>/sbin/nologin

5、awk处理规则的执行流程

# 至少1个,最多4个 按以下顺序

BEGIN{} # 括号里面内容会在awk读取文件之前执行

// # 正则表达式

{} # 循环

END{} # 括号里面内容会在awk读取文件之后执行

6、awk中的函数

函数名

作用

print

打印

printf

格式化打印

%s

字符串

%d

数字

-

左对齐

+

右对齐

15

至少占用15字符

# 格式化打印

[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%s|%s|

", $1, $NF}" /etc/passwd

|root|/bin/bash|

|bin|/sbin/nologin|

|daemon|/sbin/nologin|

[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%-15s|%s|

", $1, $NF}" /etc/passwd

|root |/bin/bash|

|bin |/sbin/nologin|

|daemon |/sbin/nologin|

[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%-15s|%-15s|

", $1, $NF}" /etc/passwd

|root |/bin/bash |

|bin |/sbin/nologin |

|daemon |/sbin/nologin |

[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%+15s|%+15s|

", $1, $NF}" /etc/passwd

| root| /bin/bash|

| bin| /sbin/nologin|

| daemon| /sbin/nologin|

[root@zonghan ~]# awk -F: "BEGIN{OFS=" | "}{printf "|%+15s|%-15s|

", $1, $NF}" /etc/passwd

| root|/bin/bash |

| bin|/sbin/nologin |

| daemon|/sbin/nologin |

7、awk中的定位

1、正则表达式

# 打印出包含root的所有行

[root@zonghan ~]# awk -F: "/root/{print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

operator:x:11:0:operator:/root:/sbin/nologin

# 打印以root开头的所有行

[root@zonghan ~]# awk -F: "/^root/{print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

2、比较表达式(作用的是文本内的内容)

符号

作用

>

筛选大于的数据

>=

筛选大于等于的数据

<

筛选小于的数据

<=

筛选小于等于的数据

~

包含(和正则连用)

!~

不包含(和正则连用)

# 打印第四列比第三列数值大的所有行信息

[root@zonghan ~]# awk -F: "$4>$3{print $0}" /etc/passwd

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

# 结尾包含bash的行

[root@zonghan ~]# awk -F: "$NF ~ /bash/{print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

haha:x:1000:1000::/home/haha:/bin/bash

test1:x:1001:1000::/home/test1:/bin/bash

# 结尾不包含bash的行

[root@zonghan ~]# awk -F: "$NF !~ /bash/{print $0}" /etc/passwd

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

3、逻辑表达式

符号

作用

&&

逻辑与

| |

逻辑或

!

逻辑非

# 打印第3列和第4列既要相加大于2000又要相乘大于2000的所有行

[root@zonghan ~]# awk -F: "$3+$4>2000 && $3*$4>2000{print $0}" /etc/passwd

test1:x:1001:1000::/home/test1:/bin/bash

test2:x:1002:1000::/home/test2:/bin/bash

data:x:2000:2000::/home/data:/bin/bash

aaa:x:2001:2001::/home/aaa:/bin/bash

bbb:x:2002:2001::/home/bbb:/bin/bash

ddd:x:2003:1000::/home/ddd:/bin/bash

eee:x:1999:1999::/home/eee:/bin/bash

fff:x:1500:1500::/home/fff:/bin/bash

# 打印第3列和第4列相加大于2000或者相乘大于2000的所有行

[root@zonghan ~]# awk -F: "$3+$4>2000 || $3*$4>2000{print $0}" /etc/passwd

daemon:/dev/null:/sbin/nologin

abrt:x:173:173::/etc/abrt:/sbin/nologin

sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

postfix:x:89:89::/var/spool/postfix:/sbin/nologin

haha:x:1000:1000::/home/haha:/bin/bash

test1:x:1001:1000::/home/test1:/bin/bash

test2:x:1002:1000::/home/test2:/bin/bash

data:x:2000:2000::/home/data:/bin/bash

aaa:x:2001:2001::/home/aaa:/bin/bash

bbb:x:2002:2001::/home/bbb:/bin/bash

ddd:x:2003:1000::/home/ddd:/bin/bash

eee:x:1999:1999::/home/eee:/bin/bash

fff:x:1500:1500::/home/fff:/bin/bash

# 打印第3列和第4列相加不大于2000或者相乘不大于2000的所有行

[root@zonghan ~]# awk -F: "!($3+$4>2000 || $3*$4>2000){print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

halt:x:7:0:halt:/sbin:/sbin/halt

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

4、算术表达式

符号

作用

+

-

*

/

==

等于

%

# 打印第3列加第4列数值大于3000(属主+属组>3000)的行

[root@zonghan ~]# awk -F: "$3+$4>3000{print $0}" /etc/passwd

data:x:2000:2000::/home/data:/bin/bash

aaa:x:2001:2001::/home/aaa:/bin/bash

bbb:x:2002:2001::/home/bbb:/bin/bash

ddd:x:2003:1000::/home/ddd:/bin/bash

eee:x:1999:1999::/home/eee:/bin/bash

# 打印第3列乘第4列数值大于50(属主+属组>3000)的行

[root@zonghan ~]# awk -F: "$3*$4<50{print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

sync:x:5:0:sync:/sbin:/bin/sync

# 打印所有奇数行

[root@zonghan ~]# awk -F: "NR%2==1{print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

daemon:x:2:2:daemon:/sbin:/sbin/nologin

lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

nobody:x:99:99:Nobody:/:/sbin/nologin

dbus:x:81:81:System message bus:/:/sbin/nologin

5、条件表达式(作用的是文本外的内容)

符号

限制条件

==

相等

>

大于

>=

大于等于

<

小于

<=

小于等于

# 打印第3行的内容

[root@zonghan ~]# awk -F: "NR==3{print $0}" /etc/passwd

daemon:x:2:2:daemon:/sbin:/sbin/nologin

# 打印前4行的的内容

[root@zonghan ~]# awk -F: "NR<=4{print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

adm:x:3:4:adm:/var/adm:/sbin/nologin

6、范围表达式

符号

作用

逗号 ,

什么行至什么行

# 打印出以root开头的行到以ftp开头的行

[root@zonghan ~]# awk -F: "/^root/,/^ftp/{print $0}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

operator:x:11:0:operator:/root:/sbin/nologin

games:x:12:100:games:/usr/games:/sbin/nologin

ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

8、流程控制

特别注意:只存在循环{ }之中

符号

用法

if

判断

for

循环

while

循环

if用法

语法:

{ if ( ) { } }

{ if ( ) { } else { } }

{ if ( ) { } else if ( ) { } else { } }

# 判断第3行与第4行数值的大小,输出比较结果

[root@zonghan ~]# awk -F: "{if($3>$4){print "大于"} else {print "小于等于"}" /etc/passwd

小于等于

小于等于

小于等于

小于等于

小于等于

大于

大于

for用法

语法:

{ for (i=初始值; 条件判断; 游标) { } }

# 每行打印3次

[root@zonghan ~]# awk -F: "{for(i=0;i<3;i++1){print $0}}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

root:x:0:0:root:/root:/bin/bash

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

bin:x:1:1:bin:/bin:/sbin/nologin

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

...

while用法

语法 :

{ i=初始值 ; while(条件判断) { } }

# 每行打印3次

[root@zonghan ~]# awk -F: "{i=0;while(i<3){i++;print $0}}" /etc/passwd

root:x:0:0:root:/root:/bin/bash

root:x:0:0:root:/root:/bin/bash

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/sbin/nologin

bin:x:1:1:bin:/bin:/sbin/nologin

bin:x:1:1:bin:/bin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

daemon:x:2:2:daemon:/sbin:/sbin/nologin

...

# 如果想打印i数字的变化,可以在print里加上i++

[root@zonghan ~]# awk -F: "{i=0;while(i<3){print $0, i++}}" /etc/passwd

root:x:0:0:root:/root:/bin/bash 0

root:x:0:0:root:/root:/bin/bash 1

root:x:0:0:root:/root:/bin/bash 2

bin:x:1:1:bin:/bin:/sbin/nologin 0

bin:x:1:1:bin:/bin:/sbin/nologin 1

bin:x:1:1:bin:/bin:/sbin/nologin 2

daemon:x:2:2:daemon:/sbin:/sbin/nologin 0

daemon:x:2:2:daemon:/sbin:/sbin/nologin 1

daemon:x:2:2:daemon:/sbin:/sbin/nologin 2

...

以上是 linux三剑客之awk 的全部内容, 来源链接: utcz.com/z/520128.html

回到顶部