0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

為什么說每個Linux極客都需要了解Sed和Awk

jf_ZqFkd6Up ? 來源:Linux迷 ? 作者:Linux迷 ? 2022-11-22 11:24 ? 次閱讀
sed 和 awk 是每個 Linux 高級用戶最喜歡的工具。但它們是什么?以及如何使用它們來處理文本文件?兩個最被低估的 Linux 實用程序是 sed 和 awk。盡管它們看起來有點神秘,但如果您必須對大段代碼或文本進行重復更改,或者如果您必須分析某些文本,sed 和 awk 是極為有用的。那么,它們是什么?它們是如何使用的?以及,當它們組合在一起時,它們如何使處理文本變得更容易?

什么是sed?

sed 由傳奇的計算先驅 Lee E. McMahon 于 1971 年在貝爾實驗室開發(fā)。該名稱代表“流編輯器”。sed 允許您通過一種緊湊而簡單但圖靈完備的編程語言以編程方式編輯正文或文本流。sed 的工作方式很簡單:它將文本逐行讀取到緩沖區(qū)中。對于每一行,它將在適用的情況下執(zhí)行預定義的指令。例如,如果有人要編寫一個 sed 腳本,將單詞“beer”替換為“soda”,然后傳入一個包含“99 Bottles of Beer on the Wall”完整歌詞的文本文件,它將通過逐行打印該文件,并打印出“99 Bottles of Soda on the Wall”,依此類推。最基本的 sed 腳本是“Hello World”。在這里,我們使用僅輸出字符串的 echo 命令來打印“Hello World”。但是我們將它傳遞給 sed,并告訴它用“LinuxMi.com”替換“World”。一目了然。

		
			
linuxmi@linuxmi:~/www.linuxmi.com$ echo "Hello World" | sed s/World/LinuxMi.com/

		38900f7a-6a13-11ed-8abf-dac502259ad0.png如果您需要進行一些更復雜的編輯,您還可以將 sed 指令組合到文件中。讓我們將 A-ha 的“ Take On Me ”的歌詞替換為Greg的“I”、“Me”和“My”的每個實例。首先,將歌曲的歌詞放入名為linuxmi.com.txt的文本文件中。然后打開您喜歡的文本編輯器,并添加以下行。確保您創(chuàng)建的文件以.sed結尾。

		
s/I/Greg/
s/Me/Greg/
s/me/Greg/
s/My/Greg/
s/my/Greg/
您可能會注意到上面示例中的重復(例如 s/me/Greg/ 和 s/Me/Greg/)。這是因為 sed 的某些版本,例如 macOS 附帶的版本,不支持不區(qū)分大小寫的匹配。因此,我們必須為每個單詞編寫兩條指令,以便 sed 識別大寫和非大寫版本。這不會完美地工作,就好像您已經手動替換了“I”、“Me”和“My”的每個實例。請記住,我們只是將其用作練習來演示如何將 sed 指令組合到一個腳本中,然后使用單個命令執(zhí)行它們。然后,我們需要調用該文件。為此,請運行此命令。

		
			
linuxmi@linuxmi:~/www.linuxmi.com$ cat linuxmi.com.txt | sed -f linuxmi.sed
讓我們看看這是怎么做的。你可能已經注意到我們這里沒有使用 echo。我們使用 cat。這是因為 cat 會打印文件的全部內容,而 echo 只會打印文件名。您可能還注意到,我們使用“-f”標志運行 sed。這告訴它將腳本作為文件打開。
最終結果是這樣的:38adde92-6a13-11ed-8abf-dac502259ad0.png還值得注意的是 sed 支持正則表達式 (REGEX)。這些允許您使用特殊而復雜的語法在文本中定義模式。這是一個如何工作的示例。我們將采用上述歌詞,但使用正則表達式打印出每行不以“Take”開頭的行。

		
			
linuxmi@linuxmi:~/www.linuxmi.com$ cat linuxmi.com.txt | sed /^Take/d

		38d81bda-6a13-11ed-8abf-dac502259ad0.png當然,sed 非常有用。而且與 awk 結合使用時會更加強大。

什么是 AWK?

AWK 與 sed 一樣,是一種處理大量文本的編程語言。但是,雖然人們使用 sed 來處理和修改文本,但人們大多使用 AWK 作為分析和報告的工具。與 sed 一樣,AWK 最初是在 1970 年代在貝爾實驗室開發(fā)的。它的名字并非來自程序所做的事情,而是來自每個作者的姓氏:Alfred Aho、Peter Weinberger 和 Brian Kernighan??偠灾?,AWK 指的是編程語言本身。在小寫中,awk 指的是命令行工具。AWK 通過一次讀取一行文本文件或輸入流來工作。掃描每一行以查看它是否與預定義的模式匹配。如果找到匹配項,則執(zhí)行操作。但是雖然 sed 和 AWK 可能有相似的目的,但它們是兩種完全不同的語言,具有兩種完全不同的設計理念。AWK 更類似于一些通用語言,如 C、Python 和 Bash。它具有諸如函數之類的東西以及更類似于 C 的方法來處理諸如迭代和變量之類的東西。簡而言之,AWK 感覺更像是一種編程語言。所以,讓我們嘗試一下。使用“Take On Me”的歌詞,我們將打印所有超過 20 個字符的行。

		
			
linuxmi@linuxmi:~/www.linuxmi.com$ awk ' length($0) > 20 ' linuxmi.com.txt

		38fe5f52-6a13-11ed-8abf-dac502259ad0.png

結合兩者

awk 和 sed 結合起來都非常強大。您可以通過使用 Unix 管道來做到這一點。讓我們試試這個:我們將使用 awk 列出“Take On Me”中超過 20 個字符的所有行。然后,我們將刪除所有以“Take”開頭的行。總之,這一切看起來像這樣:

		linuxmi@linuxmi:~/www.linuxmi.com$ awk 'length($0)>20' linuxmi.com.txt | sed /^Take/d輸出如下:392962d8-6a13-11ed-8abf-dac502259ad0.png

sed 和 awk 的力量

在這篇文章中我們就解釋這么多,但希望您現在對 sed 和 awk 的強大功能有所了解。簡而言之,它們是一個文本處理引擎。那么,你為什么要關心呢?除了您永遠不知道何時需要對文本文檔進行可預測的重復更改這一事實之外,sed 和 awk 非常適合解析日志文件。當您嘗試調試 LAMP 服務器中的問題或查看訪問日志以查看您的服務器是否被黑客入侵時,這特別方便。


審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • Linux
    +關注

    關注

    87

    文章

    11128

    瀏覽量

    207957
  • 編程語言
    +關注

    關注

    10

    文章

    1916

    瀏覽量

    34391
  • SED
    SED
    +關注

    關注

    0

    文章

    23

    瀏覽量

    27043

原文標題:為什么說每個 Linux 極客都需要了解 Sed 和 Awk

文章出處:【微信號:Linux迷,微信公眾號:Linux迷】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    linux驅動程序如何加載進內核

    ,需要了解Linux內核的基本概念和API。以下是一些關鍵概念: 1.1 內核模塊:Linux內核模塊是一種動態(tài)加載和卸載的代碼,可以在不重新啟動系統(tǒng)的情況下加載和卸載。驅動程序通常以內核模塊的形式實現。 1.2 設備模型:
    的頭像 發(fā)表于 08-30 15:02 ?203次閱讀

    USB 3.2雙通道操作:您需要了解的內容

    電子發(fā)燒友網站提供《USB 3.2雙通道操作:您需要了解的內容.pdf》資料免費下載
    發(fā)表于 08-30 10:09 ?0次下載
    USB 3.2雙通道操作:您<b class='flag-5'>需要了解</b>的內容

    要了解下大模型知識

    工作需要,想要了解一下大模型算力建設知識。
    發(fā)表于 08-20 15:31

    不只是前端,后端、產品和測試也需要了解的瀏覽器知識(二)

    繼上篇《 不只是前端,后端、產品和測試也需要了解的瀏覽器知識(一)》介紹了瀏覽器的基本情況、發(fā)展歷史以及市場占有率。 本篇文章將介紹瀏覽器基本原理。 在掌握基本原理后,通過技術深入,在研發(fā)
    的頭像 發(fā)表于 08-12 14:32 ?180次閱讀
    不只是前端,后端、產品和測試也<b class='flag-5'>需要了解</b>的瀏覽器知識(二)

    不只是前端,后端、產品和測試也需要了解的瀏覽器知識

    一、我們?yōu)槭裁?b class='flag-5'>要了解瀏覽器? 1. 對于前端開發(fā)者 1.瀏覽器是用戶體驗的第一線。我們需要了解瀏覽器的工作原理,才能有效地設計和實現用戶界面,確保良好的用戶體驗。 2.好的產品需要考慮瀏覽器兼容性
    的頭像 發(fā)表于 07-01 18:03 ?326次閱讀
    不只是前端,后端、產品和測試也<b class='flag-5'>需要了解</b>的瀏覽器知識

    選擇貼片電容時需要了解哪些問題?

    購買貼片電容時,需要了解以下幾個方面: 1、電容類型與規(guī)格:貼片電容有多種類型,如陶瓷電容器、鋁電解電容器、鉭電解電容器、多層陶瓷電容器(MLCC)以及聚合物電容器等。每種類型都有其特定的應用場
    的頭像 發(fā)表于 03-29 15:45 ?244次閱讀

    Linux常用命令自學手冊》+Linux簡單指令筆記

    最常見的Linux指令,Linux有更多的強大指令和選項。如果您對特定的指令有疑問,或者需要更多的指令和用法,請?zhí)峁└唧w的問題。 目錄: LS命令: Linux的ls指令用于顯示指定
    發(fā)表于 01-05 08:44

    sed用得少?sed常用語法簡介

    sed簡稱流編輯器,即stream editor的縮寫。sed是一個操作、過濾和轉換文本內容的強大工具。
    的頭像 發(fā)表于 12-18 09:14 ?1508次閱讀

    J-Link 中的JTAG 接口:正確使用需要了解的注意事項,在這里!

    J-Link 中的JTAG 接口:正確使用需要了解的注意事項,在這里!
    的頭像 發(fā)表于 12-01 16:01 ?1186次閱讀
    J-Link 中的JTAG 接口:正確使用<b class='flag-5'>需要了解</b>的注意事項,在這里!

    我們?yōu)槭裁?b class='flag-5'>需要了解一些先進封裝?

    我們?yōu)槭裁?b class='flag-5'>需要了解一些先進封裝?
    的頭像 發(fā)表于 11-23 16:32 ?470次閱讀
    我們?yōu)槭裁?b class='flag-5'>需要了解</b>一些先進封裝?

    需要了解的FPGA基礎知識

    的尖端技術時,設計者需要考慮的是,基礎標準和協(xié)議還在不斷地發(fā)展。這就是,設計者需要能夠迅速、有效地應對任何超出控制范圍的規(guī)范變更。類似地,它們需要能夠靈活地對系統(tǒng)部署到現場之后發(fā)生的
    發(fā)表于 11-20 18:56

    機械人必須要了解的絲桿螺母參數

    機械人必須要了解的絲桿螺母參數
    的頭像 發(fā)表于 11-17 09:55 ?1580次閱讀
    機械人必須<b class='flag-5'>要了解</b>的絲桿螺母參數

    如何像 awk一樣分割字符串

    若你使用過 Shell 中的 awk 工具,會發(fā)現用它來分割字符串是非常方便的。特別是多個連續(xù)空格會被當做一個處理。 [root @localhost ~] # cat demo.txt hello
    的頭像 發(fā)表于 11-02 11:14 ?601次閱讀
    如何像 <b class='flag-5'>awk</b>一樣分割字符串

    EMC問題需要掌握的分析與解決思路

    關于EMC需要首先了解一下EMC方面的標準,如EN55022(GB9254),EN55024,以及簡單測試原理,另外需要了解EMI元器件的使用,如電容,磁珠,差模電感,共模電感等,在PCB層面
    發(fā)表于 10-07 18:15 ?1212次閱讀

    Window程序的棧默認大小是多少?

    無論在Window還是Linux上,我們寫代碼的時候,不管是應用程序還是內核,都有必要了解內存的大小。當然,也需要了解棧大小。
    的頭像 發(fā)表于 10-07 09:19 ?2089次閱讀
    Window程序的棧默認大小是多少?