快速掌握AWK的基本使用方式

本文大部分內(nèi)容翻譯自我開(kāi)始學(xué)習(xí)AWK時(shí)看到的一篇英文文章 AWK Tutorial ，覺(jué)得對(duì)AWK入門非常有幫助，所以對(duì)其進(jìn)行了粗略的翻譯，并對(duì)其中部分內(nèi)容進(jìn)行了刪減或者補(bǔ)充，希望能為對(duì)AWK感興趣的小伙伴提供一份快速入門的教程，幫助小伙伴們快速掌握AWK的基本使用方式，當(dāng)然，我也是剛開(kāi)始學(xué)習(xí)AWK，本文在翻譯或者補(bǔ)充的過(guò)程中肯定會(huì)有很多疏漏或者錯(cuò)誤，希望大家能夠幫忙指正。

本文將會(huì)持續(xù)修正和更新，最新內(nèi)容請(qǐng)參考我的 GITHUB 上的 程序猿成長(zhǎng)計(jì)劃 項(xiàng)目，歡迎 Star。

概述

AWK是一門解釋型的編程語(yǔ)言。在文本處理領(lǐng)域它是非常強(qiáng)大的，它的名字來(lái)源于它的三位作者的姓氏：Alfred Aho， Peter Weinberger 和 Brian Kernighan。

GNU/Linux發(fā)布的AWK目前由自由軟件基金會(huì)（FSF）進(jìn)行開(kāi)發(fā)和維護(hù)，通常也稱它為 GNU AWK。

AWK的類型

下面是幾個(gè)AWK的變體：

AWK – 原先來(lái)源于 AT & T 實(shí)驗(yàn)室的的AWK

NAWK – AT & T 實(shí)驗(yàn)室的AWK的升級(jí)版

GAWK – 這就是GNU AWK。所有的GNU/Linux發(fā)布版都自帶GAWK，它與AWK和NAWK完全兼容

AWK的典型用途

使用AWK可以做很多任務(wù)，下面是其中一些

文本處理

輸出格式化的文本報(bào)表

執(zhí)行算數(shù)運(yùn)算

執(zhí)行字符串操作等等

工作流

要成為AWK編程專家，你需要先知道它的內(nèi)部實(shí)現(xiàn)機(jī)制，AWK遵循了非常簡(jiǎn)單的工作流 – 讀取，執(zhí)行和重復(fù)，下圖描述了AWK的工作流。

Read

AWK從輸入流（文件，管道或者標(biāo)準(zhǔn)輸入）中讀取一行，然后存儲(chǔ)到內(nèi)存中。

Execute

所有的AWK命令都依次在輸入上執(zhí)行。默認(rèn)情況下，AWK會(huì)對(duì)每一行執(zhí)行命令，我們可以通過(guò)提供模式限制這種行為。

Repeat

處理過(guò)程不斷重復(fù)，直到到達(dá)文件結(jié)尾。

程序結(jié)構(gòu)

現(xiàn)在，讓我們先學(xué)習(xí)一下AWK的程序結(jié)構(gòu)。

BEGIN 語(yǔ)句塊

BEGIN語(yǔ)句塊的語(yǔ)法

BEGIN {awk-commands}

BEGIN語(yǔ)句塊在程序開(kāi)始的使用執(zhí)行，它只執(zhí)行一次，在這里可以初始化變量。BEGIN是AWK的關(guān)鍵字，因此它必須為大寫，注意，這個(gè)語(yǔ)句塊是可選的。

BODY 語(yǔ)句塊

BODY語(yǔ)句塊的語(yǔ)法

/pattern/ {awk-commands}

BODY語(yǔ)句塊中的命令會(huì)對(duì)輸入的每一行執(zhí)行，我們也可以通過(guò)提供模式來(lái)控制這種行為。注意，BODY語(yǔ)句塊沒(méi)有關(guān)鍵字。

END 語(yǔ)句塊

END語(yǔ)句塊的語(yǔ)法

END {awk-commands}

END語(yǔ)句塊在程序的最后執(zhí)行，END是AWK的關(guān)鍵字，因此必須為大寫，它也是可選的。

讓我們創(chuàng)建一個(gè)包含序號(hào)，學(xué)生姓名，科目名稱和得分的文件 marks.txt.

1)AmitPhysics80

2)Rahul Maths90

3)Shyam Biology87

4)Kedar English85

5)HariHistory89

下面的例子中我們將會(huì)顯示文件內(nèi)容，并且添加每一列的標(biāo)題

上述代碼執(zhí)行后，輸出以下內(nèi)容

在程序的開(kāi)始，AWK在BEGIN語(yǔ)句中打印出標(biāo)題。然后再BODY語(yǔ)句中，它會(huì)讀取文件的每一行然后執(zhí)行AWK的print命令將每一行的內(nèi)容打印到標(biāo)準(zhǔn)輸出。這個(gè)過(guò)程會(huì)一直重復(fù)直到文件的結(jié)尾。

基礎(chǔ)語(yǔ)法

AWK的使用非常簡(jiǎn)單，我們可以直接在命令行中執(zhí)行AWK的命令，也可以從包含AWK命令的文本文件中執(zhí)行。

AWK命令行

我們可以使用單引號(hào)在命令行中指定AWK命令

AWK程序文件

我們可以使用腳本文件提供AWK命令

AWK標(biāo)準(zhǔn)選項(xiàng)

AWK支持下列命令行標(biāo)準(zhǔn)選項(xiàng)

-v 變量賦值選項(xiàng)

該選項(xiàng)將一個(gè)值賦予一個(gè)變量，它會(huì)在程序開(kāi)始之前進(jìn)行賦值，下面的例子描述了該選項(xiàng)的使用

--dump-variables[=file] 選項(xiàng)

該選項(xiàng)會(huì)輸出排好序的全局變量列表和它們最終的值到文件中，默認(rèn)的文件是 awkvars.out。

--help 選項(xiàng)

打印幫助信息.

--lint[=fatal] 選項(xiàng)

該選項(xiàng)允許檢查程序的不兼容性或者模棱兩可的代碼，當(dāng)提供參數(shù) fatal的時(shí)候，它會(huì)對(duì)待Warning消息作為Error。

--posix 選項(xiàng)

該選項(xiàng)開(kāi)啟嚴(yán)格的POSIX兼容。

--profile[=file]選項(xiàng)

該選項(xiàng)會(huì)輸出一份格式化之后的程序到文件中，默認(rèn)文件是 awkprof.out。

--traditional 選項(xiàng)

該選項(xiàng)會(huì)禁止所有的gawk規(guī)范的擴(kuò)展。

--version 選項(xiàng)

輸出版本號(hào)

基本使用示例

本部分會(huì)講述一些有用的AWK命令和它們的使用示例，所有的例子都是以下面的文本文件 marks.txt 為基礎(chǔ)的。

在文件marks.txt中，第三列包含了科目名，第四列則是得分，上面的例子中，我們只打印出了這兩列，$3 和 $4 代表了輸入記錄中的第三和第四個(gè)字段。

打印所有的行

默認(rèn)情況下，AWK會(huì)打印出所有匹配模式的行

打印匹配模式的列

當(dāng)模式匹配成功時(shí)，默認(rèn)情況下AWK會(huì)打印該行，但是也可以讓它只打印指定的字段。例如，下面的例子中，只會(huì)打印出匹配模式的第三和第四個(gè)字段。

任意順序打印

打印超過(guò)18個(gè)字符的行

內(nèi)建變量

AWK提供了很多內(nèi)置的變量，它們?cè)陂_(kāi)發(fā)AWK腳本的過(guò)程中起著非常重要的角色。

標(biāo)準(zhǔn)AWK變量

ARGC 命令行參數(shù)個(gè)數(shù)

命令行中提供的參數(shù)個(gè)數(shù)

ENVIRON 環(huán)境變量

環(huán)境變量的關(guān)聯(lián)數(shù)組

NF 字段數(shù)目

OFS 輸出字段分隔符

輸出字段分隔符，默認(rèn)為空

RSTART

match函數(shù)匹配的第一次出現(xiàn)位置

$n

當(dāng)前行中的第n個(gè)字段

GNU AWK的變量

ARGIND

當(dāng)前被處理的ARGV的索引

BINMODE

在非POSIX系統(tǒng)上指定對(duì)所有的文件I/O采用二進(jìn)制模式。

ERRORNO

一個(gè)代表了getline跳轉(zhuǎn)失敗或者是close調(diào)用失敗的錯(cuò)誤的字符串。

FIELDWIDTHS

設(shè)置了空格分隔的字段寬度變量列表的話，GAWK會(huì)將輸入解析為固定寬度的字段，而不是使用FS進(jìn)行分隔。

IGNORECASE

設(shè)置了這個(gè)變量的話，AWK會(huì)忽略大小寫。

LINT

提供了對(duì)–lint選項(xiàng)的動(dòng)態(tài)控制。

操作符

與其它編程語(yǔ)言一樣，AWK也提供了大量的操作符。

算數(shù)操作符

算數(shù)操作符不多說(shuō)，直接看例子，無(wú)非就是+-*/%

增減運(yùn)算符

自增自減與C語(yǔ)言一致。

賦值操作符

關(guān)系操作符

邏輯操作符

三元操作符

一元操作符

指數(shù)操作符

字符串連接操作符

數(shù)組成員操作符

正則表達(dá)式操作符

正則表達(dá)式操作符使用~和!~分別代表匹配和不匹配。

更多關(guān)于正則表達(dá)式請(qǐng)看后面的正則表達(dá)式部分

正則表達(dá)式

AWK在處理正則表達(dá)式方面是非常強(qiáng)大的，使用簡(jiǎn)單的正則表達(dá)式可以處理非常復(fù)雜的問(wèn)題。

數(shù)組

AWK支持關(guān)聯(lián)數(shù)組，也就是說(shuō)，不僅可以使用數(shù)字索引的數(shù)組，還可以使用字符串作為索引，而且數(shù)字索引也不要求是連續(xù)的。數(shù)組不需要聲明可以直接使用，語(yǔ)法如下：

在AWK中，只支持一維數(shù)組，但是可以通過(guò)一維數(shù)組模擬多維，例如我們有一個(gè)3×3的三維數(shù)組

流程控制

流程控制語(yǔ)句與大多數(shù)語(yǔ)言一樣，基本格式如下

循環(huán)

循環(huán)操作與其他C系語(yǔ)言一樣，主要包括 for，while，do...while，break，continue 語(yǔ)句，當(dāng)然，還有一個(gè) exit語(yǔ)句用于退出腳本執(zhí)行。

exit用于退出腳本，參數(shù)為退出的狀態(tài)碼，可以通過(guò)shell中的$?獲取

函數(shù)

內(nèi)建函數(shù)

AWK提供了很多方便的內(nèi)建函數(shù)供編程人員使用。由于函數(shù)比較多，個(gè)人覺(jué)得單純看每個(gè)函數(shù)的使用也沒(méi)有什么實(shí)際意義，比較容易遺忘，因此，這里只簡(jiǎn)單的列出常用的一些函數(shù)，只需要對(duì)其有個(gè)印象即可，使用的時(shí)候再去 查手冊(cè) 效果會(huì)更好一些吧。

數(shù)學(xué)函數(shù)

atan2(y, x)

cos(expr)

exp(expr)

int(expr)

log(expr)

rand

sin(expr)

sqrt(expr)

srand([expr])

字符串函數(shù)

asort(arr [, d [, how] ])

asorti(arr [, d [, how] ])

gsub(regex, sub, string)

index(str, sub)

length(str)

match(str, regex)

split(str, arr, regex)

sprintf(format, expr-list)

strtonum(str)

sub(regex, sub, string)

substr(str, start, l)

tolower(str)

toupper(str)

時(shí)間函數(shù)

systime

mktime(datespec)

strftime([format [, timestamp[, utc-flag]]])

字節(jié)操作函數(shù)

and

compl

lshift

rshift

or

xor

其它

用戶自定義函數(shù)

函數(shù)是程序基本的組成部分，AWK允許我們自己創(chuàng)建自定義的函數(shù)。一個(gè)大型的程序可以被劃分為多個(gè)函數(shù)，每個(gè)函數(shù)之間可以獨(dú)立的開(kāi)發(fā)和測(cè)試，提供可重用的代碼。

下面是用戶自定義函數(shù)的基本語(yǔ)法

輸出重定向

重定向操作符

到目前為止，我們所有的程序都是直接顯示數(shù)據(jù)到了標(biāo)準(zhǔn)輸出流，其實(shí)，我們也可以將輸出重定向到文件。重定向操作符跟在print和printf函數(shù)的后面，與shell中的用法基本一致。

管道

除了將輸出重定向到文件之外，我們還可以將輸出重定向到其它程序，與shell中一樣，我們可以使用管道操作符|。

第一次I/O操作使用了|&操作符，gawk會(huì)創(chuàng)建一個(gè)到運(yùn)行其它程序的子進(jìn)程的雙向管道，print的輸出被寫入到了subprogram的標(biāo)準(zhǔn)輸入，而這個(gè)subprogram的標(biāo)準(zhǔn)輸出在gawk中使用getline函數(shù)進(jìn)行讀取。

注意：目前協(xié)同進(jìn)程的標(biāo)準(zhǔn)錯(cuò)誤輸出將會(huì)和gawk的標(biāo)準(zhǔn)錯(cuò)誤輸出混雜在一起，無(wú)法單獨(dú)獲取標(biāo)準(zhǔn)錯(cuò)誤輸出。另外，I/O緩沖可能存在問(wèn)題，gawk程序會(huì)自動(dòng)的刷新所有輸出到下游的協(xié)同進(jìn)程的管道。但是，如果協(xié)同進(jìn)程沒(méi)有刷新其標(biāo)準(zhǔn)輸出的話，gawk將可能會(huì)在使用getline函數(shù)從協(xié)同進(jìn)程讀取輸出的時(shí)候掛起，這就可能引起死鎖。

我們可以使用close函數(shù)關(guān)閉雙向管道的to或者from一端，這兩個(gè)字符串值告訴gawk發(fā)送數(shù)據(jù)到協(xié)同進(jìn)程完成時(shí)或者從協(xié)同進(jìn)程讀取完畢時(shí)關(guān)閉管道。在使用系統(tǒng)命令sort的時(shí)候是這樣做是非常必要的，因?yàn)樗仨毜人休敵龆甲x取完畢時(shí)才能進(jìn)行排序。

上例看起來(lái)有些復(fù)雜，我們逐行分析一下

首先，第一行cmd = “tr [a-z] [A-Z]”是在AWK中要建立雙向連接的命令

第二行的print命令用于為tr命令提供輸入，而 |& 用于指出要建立雙向連接

第三行用于在上面的語(yǔ)句close(cmd, “to”),在執(zhí)行完成后關(guān)閉其to進(jìn)程

第四行cmd |& getline out使用getline函數(shù)存儲(chǔ)輸出到變量out中

最后一行使用close函數(shù)關(guān)閉命令

美化輸出

到目前為止，我們已經(jīng)使用過(guò)print和printf函數(shù)顯示數(shù)據(jù)到標(biāo)準(zhǔn)輸出，但是printf函數(shù)實(shí)際上要比我們之前使用的情況更加強(qiáng)大得多。該函數(shù)是從C語(yǔ)言中借鑒來(lái)的，在處理格式化的輸出時(shí)非常有用。

格式化輸出標(biāo)識(shí)有 %c， %d，%s 等，基本與C語(yǔ)言一致，這里就不多贅述了。

執(zhí)行shell命令

在AWK中執(zhí)行shell命令有兩種方式

使用system函數(shù)

使用管道

使用system函數(shù)

system函數(shù)用于執(zhí)行操作系統(tǒng)命令并且返回命令的退出碼到awk。

使用管道

如果要執(zhí)行的命令很多，可以將輸出的命令直接用管道傳遞給“/bin/sh”執(zhí)行