195 lines
6.2 KiB
Markdown
195 lines
6.2 KiB
Markdown
### 概念
|
||
- awk 是一种编程语言，对文件和数据进行处理
|
||
- 数据可以来自标准输入，一个或多个文件，或其他命令的输出
|
||
- 朱行扫描文件爱你，默认从第一行到最后一行，寻找匹配的特定模式的行
|
||
|
||
### 语法结构
|
||
- awk 选项 '命令部分' 文件名
|
||
- 引用shell变量需要使用双引号引起
|
||
|
||
### 常用选项介绍
|
||
- -F 定义字段分割符号，默认的分隔符是空格
|
||
- -v 定义变量并赋值
|
||
|
||
### 命名部分说明
|
||
|
||
|
||
### 内置变量
|
||
- $n 当前记录的第n个字段，字段间由FS分隔
|
||
- $0 完整的输入记录
|
||
- ARGC 命令行参数的数目
|
||
- ARGIND 命令行中当前文件的位置(从0开始算)
|
||
- ARGV 包含命令行参数的数组
|
||
- CONVFMT 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
|
||
- ERRNO 最后一个系统错误的描述
|
||
- FIELDWIDTHS 字段宽度列表(用空格键分隔)
|
||
- FILENAME 当前文件名
|
||
- FNR 各文件分别计数的行号
|
||
- FS 字段分隔符(默认是任何空格)
|
||
- IGNORECASE 如果为真，则进行忽略大小写的匹配
|
||
- NF 一条记录的字段的数目
|
||
- NR 已经读出的记录数，就是行号，从1开始
|
||
- OFMT 数字的输出格式(默认值是%.6g)
|
||
- OFS 输出字段分隔符，默认值与输入字段分隔符一致。
|
||
- ORS 输出记录分隔符(默认值是一个换行符)
|
||
- RLENGTH 由match函数所匹配的字符串的长度
|
||
- RS 记录分隔符(默认是一个换行符)
|
||
- RSTART 由match函数所匹配的字符串的第一个位置
|
||
- SUBSEP 数组下标分隔符(默认值是/034)
|
||
|
||
### 实践
|
||
- 打印文件的每一行
|
||
```
|
||
[sunqi@manjaro-vm shell_demo]$ awk 'NR=1,NR=5{print $0}' passwd
|
||
root:x:0:0::/root:/bin/bash
|
||
nobody:x:65534:65534:Kernel Overflow User:/:/usr/bin/nologin
|
||
dbus:x:81:81:System Message Bus:/:/usr/bin/nologin
|
||
bin:x:1:1::/:/usr/bin/nologin
|
||
daemon:x:2:2::/:/usr/bin/nologin
|
||
mail:x:8:12::/var/spool/mail:/usr/bin/nologin
|
||
ftp:x:14:11::/srv/ftp:/usr/bin/nologin
|
||
http:x:33:33::/srv/http:/usr/bin/nologin
|
||
systemd-coredump:x:981:981:systemd Core Dumper:/:/usr/bin/nologin
|
||
systemd-network:x:980:980:systemd Network Management:/:/usr/bin/nologin
|
||
```
|
||
|
||
- 打印第一行到第五行
|
||
```
|
||
[sunqi@manjaro-vm shell_demo]$ awk 'NR==1,NR==5{print $0}' passwd
|
||
root:x:0:0::/root:/bin/bash
|
||
nobody:x:65534:65534:Kernel Overflow User:/:/usr/bin/nologin
|
||
dbus:x:81:81:System Message Bus:/:/usr/bin/nologin
|
||
bin:x:1:1::/:/usr/bin/nologin
|
||
daemon:x:2:2::/:/usr/bin/nologin
|
||
[sunqi@manjaro-vm shell_demo]$
|
||
|
||
me@me-EQ59:~/shell_demo$ awk 'NR>=3 && NR<=5 {print $0}' passwd
|
||
bin:x:2:2:bin:/bin:/usr/sbin/nologin
|
||
sys:x:3:3:sys:/dev:/usr/sbin/nologin
|
||
sync:x:4:65534:sync:/bin:/bin/sync
|
||
me@me-EQ59:~/shell_demo$
|
||
```
|
||
|
||
|
||
- 打印第一行或第五行
|
||
```
|
||
me@me-EQ59:~/shell_demo$ awk 'NR==1 || NR==5 {print $0}' passwd
|
||
root:x:0:0:root:/root:/bin/bash
|
||
sync:x:4:65534:sync:/bin:/bin/sync
|
||
me@me-EQ59:~/shell_demo$
|
||
```
|
||
|
||
- 打印 冒号 分割第一行，最后一行和倒数第二行
|
||
```
|
||
me@me-EQ59:~/shell_demo$ awk -F: '{print $1, $NF, $(NF-1)}' passwd
|
||
root /bin/bash /root
|
||
daemon /usr/sbin/nologin /usr/sbin
|
||
bin /usr/sbin/nologin /bin
|
||
sys /usr/sbin/nologin /dev
|
||
sync /bin/sync /bin
|
||
games /usr/sbin/nologin /usr/games
|
||
man /usr/sbin/nologin /var/cache/man
|
||
lp /usr/sbin/nologin /var/spool/lpd
|
||
mail /usr/sbin/nologin /var/mail
|
||
news /usr/sbin/nologin /var/spool/news
|
||
```
|
||
|
||
- 以 冒号 分割，包含root关键字的行的第一列和最后一列
|
||
```
|
||
me@me-EQ59:~/shell_demo$ awk -F: '/root/{print $1,$NF}' passwd
|
||
root /bin/bash
|
||
nm-openvpn /usr/sbin/nologin
|
||
me@me-EQ59:~/shell_demo$
|
||
```
|
||
|
||
- 自定义结果输出分隔符
|
||
```
|
||
me@me-EQ59:~/shell_demo$ awk -F: 'BEGIN{OFS="#"}/root/{print $1,$NF}' passwd
|
||
root#/bin/bash
|
||
nm-openvpn#/usr/sbin/nologin
|
||
me@me-EQ59:~/shell_demo$ awk -F: '/root/{print $1"###"$NF}' passwd
|
||
root###/bin/bash
|
||
nm-openvpn###/usr/sbin/nologin
|
||
me@me-EQ59:~/shell_demo$
|
||
```
|
||
|
||
### 格式化输出
|
||
- print 类似echo
|
||
- printf 类似 echo -n
|
||
- %s 字符类型
|
||
- %d 数值类型
|
||
- %-15s 占15字符，- 表示左对齐，默认是右对齐
|
||
- printf 默认不会在行尾自动换行，加`\n`
|
||
```
|
||
me@me-EQ59:~/shell_demo$ awk -F: '{printf "%-15s %-10s %-15s\n", $1,$2,$3}' passwd
|
||
root x 0
|
||
daemon x 1
|
||
bin x 2
|
||
sys x 3
|
||
sync x 4
|
||
games x 5
|
||
man x 6
|
||
lp x 7
|
||
mail x 8
|
||
news x 9
|
||
```
|
||
|
||
### 变量定义
|
||
- -v 变量名=变量值
|
||
- 调用变量不需要使用 $ 符号
|
||
```
|
||
me@me-EQ59:~/shell_demo$ head -n 5 /etc/passwd > passwd
|
||
me@me-EQ59:~/shell_demo$ cat passwd
|
||
root:x:0:0:root:/root:/bin/bash
|
||
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
|
||
bin:x:2:2:bin:/bin:/usr/sbin/nologin
|
||
sys:x:3:3:sys:/dev:/usr/sbin/nologin
|
||
sync:x:4:65534:sync:/bin:/bin/sync
|
||
me@me-EQ59:~/shell_demo$ awk -v NUM=4 -F: '{ print $NUM }' passwd
|
||
0
|
||
1
|
||
2
|
||
3
|
||
65534
|
||
me@me-EQ59:~/shell_demo$ awk -v NUM=4 -F: '{ print NUM }' passwd
|
||
4
|
||
4
|
||
4
|
||
4
|
||
4
|
||
me@me-EQ59:~/shell_demo$
|
||
```
|
||
|
||
### begin end
|
||
- begin 表示在程序开始前执行
|
||
- end 表示在所有文件处理完后执行
|
||
- 'BEGIN{开始处理之前};{处理中};END{处理结束后}'
|
||
```
|
||
me@me-EQ59:~/shell_demo$ cat passwd
|
||
root:x:0:0:root:/root:/bin/bash
|
||
daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
|
||
bin:x:2:2:bin:/bin:/usr/sbin/nologin
|
||
sys:x:3:3:sys:/dev:/usr/sbin/nologin
|
||
sync:x:4:65534:sync:/bin:/bin/sync
|
||
me@me-EQ59:~/shell_demo$ awk -v NUM=4 -F: 'BEGIN{print "user\tshell_name"};{ print $1"\t"$NF };END{print "user\tshell_name"}' passwd
|
||
user shell_name
|
||
root /bin/bash
|
||
daemon /usr/sbin/nologin
|
||
bin /usr/sbin/nologin
|
||
sys /usr/sbin/nologin
|
||
sync /bin/sync
|
||
user shell_name
|
||
me@me-EQ59:~/shell_demo$
|
||
```
|
||
|
||
### 实践
|
||
- 正则匹配从某一行到某一行
|
||
|
||
|
||
- 正则筛选行然后打印行
|
||
|
||
|
||
- 支持逻辑运算符 `&&`、 `||`和`!`
|
||
|
||
|
||
 |