linux線程淺析

關(guān)于linux線程

在許多經(jīng)典的操作系統(tǒng)教科書中, 總是把進(jìn)程定義為程序的執(zhí)行實(shí)例, 它并不執(zhí)行什么, 只是維護(hù)應(yīng)用程序所需的各種資源. 而線程則是真正的執(zhí)行實(shí)體.?
為了讓進(jìn)程完成一定的工作, 進(jìn)程必須至少包含一個(gè)線程. 如圖1.

進(jìn)程所維護(hù)的是程序所包含的資源(靜態(tài)資源), 如: 地址空間, 打開的文件句柄集, 文件系統(tǒng)狀態(tài), 信號(hào)處理handler, 等;
線程所維護(hù)的運(yùn)行相關(guān)的資源(動(dòng)態(tài)資源), 如: 運(yùn)行棧, 調(diào)度相關(guān)的控制信息, 待處理的信號(hào)集, 等;

??

然而, 一直以來, linux內(nèi)核并沒有線程的概念. 每一個(gè)執(zhí)行實(shí)體都是一個(gè)task_struct結(jié)構(gòu), 通常稱之為進(jìn)程. 如圖2.

進(jìn)程是一個(gè)執(zhí)行單元, 維護(hù)著執(zhí)行相關(guān)的動(dòng)態(tài)資源. 同時(shí), 它又引用著程序所需的靜態(tài)資源.
通過系統(tǒng)調(diào)用clone創(chuàng)建子進(jìn)程時(shí), 可以有選擇性地讓子進(jìn)程共享父進(jìn)程所引用的資源. 這樣的子進(jìn)程通常稱為輕量級(jí)進(jìn)程.?

linux上的線程就是基于輕量級(jí)進(jìn)程, 由用戶態(tài)的pthread庫(kù)實(shí)現(xiàn)的.
使用pthread以后, 在用戶看來, 每一個(gè)task_struct就對(duì)應(yīng)一個(gè)線程, 而一組線程以及它們所共同引用的一組資源就是一個(gè)進(jìn)程.

但是, 一組線程并不僅僅是引用同一組資源就夠了, 它們還必須被視為一個(gè)整體.
對(duì)此, POSIX標(biāo)準(zhǔn)提出了如下要求:
1, 查看進(jìn)程列表的時(shí)候, 相關(guān)的一組task_struct應(yīng)當(dāng)被展現(xiàn)為列表中的一個(gè)節(jié)點(diǎn);
2, 發(fā)送給這個(gè)"進(jìn)程"的信號(hào)(對(duì)應(yīng)kill系統(tǒng)調(diào)用), 將被對(duì)應(yīng)的這一組task_struct所共享, 并且被其中的任意一個(gè)"線程"處理;
3, 發(fā)送給某個(gè)"線程"的信號(hào)(對(duì)應(yīng)pthread_kill), 將只被對(duì)應(yīng)的一個(gè)task_struct接收, 并且由它自己來處理;
4, 當(dāng)"進(jìn)程"被停止或繼續(xù)時(shí)(對(duì)應(yīng)SIGSTOP/SIGCONT信號(hào)), 對(duì)應(yīng)的這一組task_struct狀態(tài)將改變;
5, 當(dāng)"進(jìn)程"收到一個(gè)致命信號(hào)(比如由于段錯(cuò)誤收到SIGSEGV信號(hào)), 對(duì)應(yīng)的這一組task_struct將全部退出;
6, 等等(以上可能不夠全);

linuxthreads

在linux 2.6以前, pthread線程庫(kù)對(duì)應(yīng)的實(shí)現(xiàn)是一個(gè)名叫l(wèi)inuxthreads的lib.?
linuxthreads利用前面提到的輕量級(jí)進(jìn)程來實(shí)現(xiàn)線程, 但是對(duì)于POSIX提出的那些要求, linuxthreads除了第5點(diǎn)以外, 都沒有實(shí)現(xiàn)(實(shí)際上是無能為力):
1, 如果運(yùn)行了A程序, A程序創(chuàng)建了10個(gè)線程, 那么在shell下執(zhí)行ps命令時(shí)將看到11個(gè)A進(jìn)程, 而不是1個(gè)(注意, 也不是10個(gè), 下面會(huì)解釋);
2, 不管是kill還是pthread_kill, 信號(hào)只能被一個(gè)對(duì)應(yīng)的線程所接收;
3, SIGSTOP/SIGCONT信號(hào)只對(duì)一個(gè)線程起作用;

還好linuxthreads實(shí)現(xiàn)了第5點(diǎn), 我認(rèn)為這一點(diǎn)是最重要的. 如果某個(gè)線程"掛"了, 整個(gè)進(jìn)程還在若無其事地運(yùn)行著, 可能會(huì)出現(xiàn)很多的不一致狀態(tài). 進(jìn)程將不是一個(gè)整體, 而線程也不能稱為線程.?
或許這也是為什么linuxthreads雖然與POSIX的要求差距甚遠(yuǎn), 卻能夠存在, 并且還被使用了好幾年的原因吧~
但是, linuxthreads為了實(shí)現(xiàn)這個(gè)"第5點(diǎn)", 還是付出了很多代價(jià), 并且創(chuàng)造了linuxthreads本身的一大性能瓶頸.

接下來要說說, 為什么A程序創(chuàng)建了10個(gè)線程, 但是ps時(shí)卻會(huì)出現(xiàn)11個(gè)A進(jìn)程了. 因?yàn)閘inuxthreads自動(dòng)創(chuàng)建了一個(gè)管理線程. 上面提到的"第5點(diǎn)"就是靠管理線程來實(shí)現(xiàn)的.
當(dāng)程序開始運(yùn)行時(shí), 并沒有管理線程存在(因?yàn)楸M管程序已經(jīng)鏈接了pthread庫(kù), 但是未必會(huì)使用多線程).?
程序第一次調(diào)用pthread_create時(shí), linuxthreads發(fā)現(xiàn)管理線程不存在, 于是創(chuàng)建這個(gè)管理線程. 這個(gè)管理線程是進(jìn)程中的第一個(gè)線程(主線程)的兒子.
然后在pthread_create中, 會(huì)通過pipe向管理線程發(fā)送一個(gè)命令, 告訴它創(chuàng)建線程. 即是說, 除主線程外, 所有的線程都是由管理線程來創(chuàng)建的, 管理線程是它們的父親.
于是, 當(dāng)任何一個(gè)子線程退出時(shí), 管理線程將收到SIGUSER1信號(hào)(這是在通過clone創(chuàng)建子線程時(shí)指定的). 管理線程在對(duì)應(yīng)的sig_handler中會(huì)判斷子線程是否正常退出, 如果不是, 則殺死所有線程, 然后自殺.
那么, 主線程怎么辦呢? 主線程是管理線程的父親, 其退出時(shí)并不會(huì)給管理線程發(fā)信號(hào). 于是, 在管理線程的主循環(huán)中通過getppid檢查父進(jìn)程的ID號(hào), 如果ID號(hào)是1, 說明父親已經(jīng)退出, 并把自己托管給了init進(jìn)程(1號(hào)進(jìn)程). 這時(shí)候, 管理線程也會(huì)殺掉所有子線程, 然后自殺. 那么, 如果主線程是調(diào)用pthread_exit主動(dòng)退出的呢? 按照posix的標(biāo)準(zhǔn)，這種情況下其他子線程是應(yīng)該繼續(xù)運(yùn)行的. 于是, 在linuxthreads中, 主線程調(diào)用pthread_exit以后并不會(huì)真正退出, 而是會(huì)在pthread_exit函數(shù)中阻塞等待所有子線程都退出了, pthread_exit才會(huì)讓主線程退出. (在這個(gè)等等過程中, 主線程一直處于睡眠狀態(tài).)

可見, 線程的創(chuàng)建與銷毀都是通過管理線程來完成的, 于是管理線程就成了linuxthreads的一個(gè)性能瓶頸.?
創(chuàng)建與銷毀需要一次進(jìn)程間通信, 一次上下文切換之后才能被管理線程執(zhí)行, 并且多個(gè)請(qǐng)求會(huì)被管理線程串行地執(zhí)行.


NPTL

到了linux 2.6, glibc中有了一種新的pthread線程庫(kù)--NPTL(Native POSIX Threading Library).?
NPTL實(shí)現(xiàn)了前面提到的POSIX的全部5點(diǎn)要求. 但是, 實(shí)際上, 與其說是NPTL實(shí)現(xiàn)了, 不如說是linux內(nèi)核實(shí)現(xiàn)了.

在linux 2.6中, 內(nèi)核有了線程組的概念, task_struct結(jié)構(gòu)中增加了一個(gè)tgid(thread group id)字段.?
如果這個(gè)task是一個(gè)"主線程", 則它的tgid等于pid, 否則tgid等于進(jìn)程的pid(即主線程的pid).
在clone系統(tǒng)調(diào)用中, 傳遞CLONE_THREAD參數(shù)就可以把新進(jìn)程的tgid設(shè)置為父進(jìn)程的tgid(否則新進(jìn)程的tgid會(huì)設(shè)為其自身的pid).
類似的XXid在task_struct中還有兩個(gè)：task->signal->pgid保存進(jìn)程組的打頭進(jìn)程的pid、task->signal->session保存會(huì)話打頭進(jìn)程的pid。通過這兩個(gè)id來關(guān)聯(lián)進(jìn)程組和會(huì)話。

有了tgid, 內(nèi)核或相關(guān)的shell程序就知道某個(gè)tast_struct是代表一個(gè)進(jìn)程還是代表一個(gè)線程, 也就知道在什么時(shí)候該展現(xiàn)它們, 什么時(shí)候不該展現(xiàn)(比如在ps的時(shí)候, 線程就不要展現(xiàn)了).
而getpid(獲取進(jìn)程ID)系統(tǒng)調(diào)用返回的也是tast_struct中的tgid, 而tast_struct中的pid則由gettid系統(tǒng)調(diào)用來返回.
在執(zhí)行ps命令的時(shí)候不展現(xiàn)子線程，也是有一些問題的。比如程序a.out運(yùn)行時(shí)，創(chuàng)建了一個(gè)線程。假設(shè)主線程的pid是10001、子線程是10002（它們的tgid都是10001）。這時(shí)如果你kill 10002，是可以把10001和10002這兩個(gè)線程一起殺死的，盡管執(zhí)行ps命令的時(shí)候根本看不到10002這個(gè)進(jìn)程。如果你不知道linux線程背后的故事，肯定會(huì)覺得遇到靈異事件了。

為了應(yīng)付"發(fā)送給進(jìn)程的信號(hào)"和"發(fā)送給線程的信號(hào)", task_struct里面維護(hù)了兩套signal_pending, 一套是線程組共享的, 一套是線程獨(dú)有的.
通過kill發(fā)送的信號(hào)被放在線程組共享的signal_pending中, 可以由任意一個(gè)線程來處理; 通過pthread_kill發(fā)送的信號(hào)(pthread_kill是pthread庫(kù)的接口, 對(duì)應(yīng)的系統(tǒng)調(diào)用中tkill)被放在線程獨(dú)有的signal_pending中, 只能由本線程來處理.

當(dāng)線程停止/繼續(xù), 或者是收到一個(gè)致命信號(hào)時(shí), 內(nèi)核會(huì)將處理動(dòng)作施加到整個(gè)線程組中.


NGPT

說到這里, 也順便提一下NGPT(Next Generation POSIX Threads).?
上面提到的兩種線程庫(kù)使用的都是內(nèi)核級(jí)線程(每個(gè)線程都對(duì)應(yīng)內(nèi)核中的一個(gè)調(diào)度實(shí)體), 這種模型稱為1:1模型(1個(gè)線程對(duì)應(yīng)1個(gè)內(nèi)核級(jí)線程);
而NGPT則打算實(shí)現(xiàn)M:N模型(M個(gè)線程對(duì)應(yīng)N個(gè)內(nèi)核級(jí)線程), 也就是說若干個(gè)線程可能是在同一個(gè)執(zhí)行實(shí)體上實(shí)現(xiàn)的.?
線程庫(kù)需要在一個(gè)內(nèi)核提供的執(zhí)行實(shí)體上抽象出若干個(gè)執(zhí)行實(shí)體, 并實(shí)現(xiàn)它們之間的調(diào)度. 這樣被抽象出來的執(zhí)行實(shí)體稱為用戶級(jí)線程.
大體上, 這可以通過為每個(gè)用戶級(jí)線程分配一個(gè)棧, 然后通過longjmp的方式進(jìn)行上下文切換. (百度一下"setjmp/longjmp", 你就知道.)
但是實(shí)際上要處理的細(xì)節(jié)問題非常之多.?
目前的NGPT好像并沒有實(shí)現(xiàn)所有預(yù)期的功能, 并且暫時(shí)也不準(zhǔn)備去實(shí)現(xiàn).

用戶級(jí)線程的切換顯然要比內(nèi)核級(jí)線程的切換快一些, 前者可能只是一個(gè)簡(jiǎn)單的長(zhǎng)跳轉(zhuǎn), 而后者則需要保存/裝載寄存器, 進(jìn)入然后退出內(nèi)核態(tài). (進(jìn)程切換則還需要切換地址空間等.)
而用戶級(jí)線程則不能享受多處理器, 因?yàn)槎鄠€(gè)用戶級(jí)線程對(duì)應(yīng)到一個(gè)內(nèi)核級(jí)線程上, 一個(gè)內(nèi)核級(jí)線程在同一時(shí)刻只能運(yùn)行在一個(gè)處理器上.
不過, M:N的線程模型畢竟提供了這樣一種手段, 可以讓不需要并行執(zhí)行的線程運(yùn)行在一個(gè)內(nèi)核級(jí)線程對(duì)應(yīng)的若干個(gè)用戶級(jí)線程上, 可以節(jié)省它們的切換開銷.

據(jù)說一些類UNIX系統(tǒng)(如Solaris)已經(jīng)實(shí)現(xiàn)了比較成熟的M:N線程模型, 其性能比起linux的線程還是有著一定的優(yōu)勢(shì).