AWK的使用方法

一.基础知识
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言： AWK 程序设计语言 ， 三位创建者已将它正式定义为“样式扫描和处理语言”。它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。

二.用法介绍
1.命令格式

awk '{pattern + action}' {filenames}    ##pattern表示类，action表示执行的动作

pattern表示AWK在数据中查找的内容，action表示在找到匹配内容时所执行的一系列命令。
pattern就是要表示的正则表达式，用斜杠括起来，‘pattern‘。
通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

2.awk的三种调用方式
2.1 命令行方式

awk [-F  field-separator]  'commands'  input-file(s)
##commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2.2 shell 脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。
相当于shell脚本首行的：#!/bin/sh
可以换成：#!/bin/awk

2.3 将所有的awk命令插入一个单独文件，然后调用：

awk -f awk-script-file input-file(s)
其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

三.实例应用
3.1 简单实例

[root@server1 ~]# last -n 5    ##显示登陆过的用户，即取出前五行
root     pts/0        172.25.66.250    Tue Aug 15 08:12   still logged in   
reboot   system boot  3.10.0-327.el7.x Tue Aug 15 08:12 - 11:26  (03:14)    
root     pts/0        172.25.66.250    Mon Aug 14 04:08 - 10:56  (06:47)    
root     pts/0        172.25.66.250    Mon Aug 14 03:17 - 04:08  (00:51)    
root     tty1                          Mon Aug 14 03:13 - crash (1+04:58) 

如果要求只显示帐号，该怎么做呢？

[root@server1 ~]# last -n 5 | awk '{print $1}'
root
reboot
root
root
root

显示原理：awk读入’\n’换行符分割的一条记录，然后将记录按指定的域名分隔符划分域（没有指定则默认为空格），$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键",所以$1表示登录用户，$3表示登录用户ip,以此类推.
因此如果我们需要显示/etc/passwd的账户，使用下面的命令：

cat /etc/passwd |awk  -F ':'  '{print $1}'  ##这里指定了“：“为分隔符

那如果要显示/etc/passwd的帐号和帐号对应的shell，而帐号与shell之间以tab键分隔

[root@server1 ~]# cat /etc/passwd  |awk  -F ':'  '{print $1"\t"$7}'
root    /bin/bash
bin /sbin/nologin
daemon  /sbin/nologin
adm /sbin/nologin
lp  /sbin/nologin
sync    /bin/sync
##-F 指定分隔符为“：", "\t"表示显示内容之间以tab隔开

当然这里也可以用别的符号分隔，下面为我们举几个例子：

[root@server1 ~]# cat /etc/passwd |awk  -F ':' '{print $1","$7}'##这里我们用隔开逗号隔开
root,/bin/bash
bin,/sbin/nologin
daemon,/sbin/nologin
adm,/sbin/nologin
lp,/sbin/nologin
sync,/bin/sync

这里写代码片

搜索/etc/passwd有root关键字的所有行：

[root@server1 ~]# awk -F: '/root/' /etc/passwd ##指定关键字时关键字需要用单引号引住
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

搜索/etc/passwd有root关键字的所有行，并显示对应的shell：

[root@server1 ~]# awk -F: '/root/{print $7}' /etc/passwd
/bin/bash
/sbin/nologin
##这种是pattern的使用示例，{print $7}即为axtion，匹配了pattern(这里是root)的行才会执行action(没有指定action，默认输出每行的内容)。

[root@server1 mnt]# cat passwd | awk -F : '/root/'
root:x:0:0:root:/root:/bin/bash
root:lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
##输出包含root的行

搜索以root开头的行：

[root@server1 ~]# awk -F: '/^root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

3.2 awk内置变量
awk有许多内置变量用来设置环境信息，这些变量可以被改变，下面给出了最常用的一些变量。

ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符，等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符
##同样的，$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。

如：
FILENAME的应用：

[root@server1 ~]# awk -F ':' '{print FILENAME}' /etc/passwd    ##输出文件名
/etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd
/etc/passwd

NR的应用：

[root@server1 ~]#  awk -F ':' '/root/{print NR}' /etc/passwd
1
10
##找出/etc/passwd文件中的有root的行并输出对应的行数

NF应用：

[root@server1 ~]#  awk -F ':' '{print $NF}' /etc/passwd
/bin/bash
/sbin/nologin
/sbin/nologin
/sbin/nologin
/sbin/nologin
/bin/sync
##显示最后一列，$NF表示最后以列

如果要显示倒数第二列，将$NF换为$(NF-1)即可，其他依次类推

[root@server1 ~]#  awk -F ':' '{print $(NF - 1)}' /etc/passwd
/root
/bin
/sbin
/var/adm
/var/spool/lpd
/sbin

3.4 awk脚本基本结构
格式：

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' file
一个awk脚本通常由：BEGIN语句块，能够使用模式匹配的通用语句块，END语句块三部分组成，这三部分都是可选的，脚本通常用单引号或双引号引住。
zgon

eg：

[root@server1 mnt]# awk 'BEGIN{ i=0 } { i++ } END{ print i }' passwd ##输出行数
21

awk工作原理：
第一步：执行BEGIN语句块中的内容
第二步：从文件中中读取一行，然后执行pattren语句块，一行一行的读文件，直到结束
第三步：第二步结束后，执行END语句块