路漫漫其修远兮
吾将上下而求索

linux文本格式化:awk命令

简介

awk基础用法,名字是三位发明人名字首字母组合

报告生成工具,处理文本,以更美观的形式显示出来

把文件中读取到的每一行的每个字段分别进行格式化,而后进行显示

支持使用变量,条件判断,循环,数组

其实使用的是gnu组织的工具,只是人们习惯了awk名字,使用了软链接

[root@master ~]#ll /bin/awk 
lrwxrwxrwx. 1 root root 4 Jul 27 08:12 /bin/awk -> gawk

命令格式

awk [options] 'script' FILE ...
awk [options] '/pattern/{action}' FILE ...

模式:

    地址定界:/pat1/,/pat2/
    /pattern/ 只能被模式匹配到的行
    expression:表达式
        >,>=,<,<=,==,<>,~(模式匹配)
    BIGIN:在每一行处理前预处理的工作
    END:在每一行处理后再处理的工作

下面是关系运算示例

$ awk '$3==0 && $6=="LISTEN" ' netstat.txt

awk的常用四种分隔符:

    输入:
        行分隔符,
        字段分隔符
    输出:
        行分割符,
        字段分隔符,

awk的内置变量

属性 说明
$0 当前记录(作为单个变量)
$1~$n 当前记录的第n个字段,字段间由FS分隔
FS 输入字段分隔符 默认是空格
NF 当前记录中的字段个数,就是有多少列
NR 已经读出的记录数,就是行号,从1开始
RS 输入的记录他隔符默 认为换行符
OFS 输出字段分隔符 默认也是空格
ORS 输出的记录分隔符,默认为换行符
ARGC 命令行参数个数
ARGV 命令行参数数组
FILENAME 当前输入文件的名字
IGNORECASE 如果为真,则进行忽略大小写的匹配
ARGIND 当前被处理文件的ARGV标志符
CONVFMT 数字转换格式 %.6g
ENVIRON UNIX环境变量
ERRNO UNIX系统错误消息
FIELDWIDTHS 输入字段宽度的空白分隔字符串
FNR 当前记录数
OFMT 数字的输出格式 %.6g
RSTART 被匹配函数匹配的字符串首
RLENGTH 被匹配函数匹配的字符串长度

下面是一些示例

[root@master ~]#awk '/^root/{print $1}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
[root@master ~]#awk -F : '/^root/{print $1}' /etc/passwd
root
[root@master ~]#awk -F : '/^root/{print $1,$7}' /etc/passwd
root /bin/bash
[root@master ~]#awk -F : '/^root/{print "username:",$1,"shell:",$7}' /etc/passwd
username: root shell: /bin/bash

当有多个空格的时候,都识别为一个分隔符,比如下面的df取第二列,cut就不适用

[root@master ~]#df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        20G  1.1G   18G   6% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       190M   35M  146M  19% /boot
/dev/sda5        29G   45M   27G   1% /data

[root@master ~]#df -h | awk '/^\//{print $1}'  不以/开头的都去除
/dev/sda2
/dev/sda1
/dev/sda5
[root@master ~]#df -h | awk '{print $2}'
Size
20G
491M
190M
29G

模式匹配示例

[root@master ~]#useradd andy
[root@master ~]#awk -F : '$3>=500{print $1}' /etc/passwd
andy
[root@master ~]#id andy
uid=500(andy) gid=500(andy) groups=500(andy)

显示以bash结尾的,模式匹配要放到//中,固定
[root@master ~]#awk -F : '$7~/bash$/{print $1}' /etc/passwd
root
andy

显示最后一个字段
[root@master ~]#awk '{print $NF}' /etc/inittab 
runlevel.
#
SYSTEM.
#

预处理

[root@master ~]#awk -F : 'BEGIN{print "username\n-------"}$3>=500{print $1}END{print "------\n abc"}' /etc/passwd
username
-------
andy
bob
------
 abc

使用内置变量来存放分隔符
[root@master ~]#awk 'BEGIN{FS=":"}$3>=500{print $1}' /etc/passwd
andy
bob

指定输出分隔符为~
[root@master ~]#awk 'BEGIN{FS=":";OFS="~"}$3>=500{print $1,$7}' /etc/passwd
andy~/bin/bash
bob~/bin/bash

显示网卡信息
[root@master ~]#ifconfig | awk '/inet addr/{print $2}'
addr:192.168.170.15
addr:127.0.0.1

简单计算

[root@ andy]# cat test 
added lines: 3 removed lines: 5 total lines: 8
added lines: 4 removed lines: 6 total lines: 9
added lines: 5 removed lines: 7 total lines: 10
[root@ andy]# cat test | awk '{a += $3; b += $6; c += $b-$a} END {print a" "b" "c}'
12 18 -3

文档:awk简明教程

未经允许不得转载:江哥架构师笔记 » linux文本格式化:awk命令

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址