GIL在CPython解釋器中的工作原理

我是一個Python線程，我的工作就是解釋執(zhí)行程序員編寫的Python代碼。

之所以說是解釋執(zhí)行，是因為Python是高級語言，CPU那家伙不認識Python代碼，需要運行的時候動態(tài)翻譯成CPU指令。

我把Python源代碼經(jīng)過“編譯”以后，變成了一個個的字節(jié)碼文件：.pyc，這是一個二進制的文件，人類是看不懂的，只有我才能看懂。

然后我的工作就簡單了，不斷的取出字節(jié)碼文件中的“指令”解釋執(zhí)行，直到所有指令都執(zhí)行完成，我就可以休息了。

GIL

后來，多線程編程技術流行了起來，進程里不止我一個線程了，又來了幾個新的伙伴。

本以為我們能和平共處，沒想到這一來就麻煩了，我們幾個各干各的，經(jīng)常把內(nèi)存空間搞出問題，也找不到背鍋的人。

終于有一天，我實在忍受不了了，召集大家商討個解決辦法。

“小伙伴們，咱們不能再這樣各搞各的了，咱們是一個Team，要彼此協(xié)作，一個線程可以走的很快，但一群線程在一起才能走的更遠吶！”

“老大，你有什么想法你就直說吧”，另一個線程說到。

“要不，咱們加個鎖吧！簡單快捷，每個線程要執(zhí)行代碼，都得來申請這個鎖，申請到了才能執(zhí)行，否則就得等著”，我說到。

“那什么時候釋放呢？”

“要不弄個計數(shù)器，每個線程數(shù)到100就釋放，這樣保證別人有機會來執(zhí)行？”

“那怎么計數(shù)呢？每執(zhí)行一個字節(jié)碼就計數(shù)一次嗎？”

“可以，不過也不用那么死板，有些指令比較簡單的，很快可以完成，就可以不用計數(shù)了”

“好是好，但要是還沒數(shù)夠100，卻在執(zhí)行I/O操作阻塞了，還把鎖霸占的話，那不是資源浪費嗎？”

小伙伴們七嘴八舌的討論著。

我想了想說到：“那就這樣，把兩種情況結合一下，常規(guī)情況下數(shù)到100就釋放一次鎖，但如果遇到阻塞情況，也要提前釋放鎖，怎么樣？”

大伙紛紛點頭，達成了一致，隨后我們還給這個鎖取了一個名字：全局解釋器鎖GIL。

自從用上了GIL，我們大家伙干活都規(guī)矩多了，再也沒有出現(xiàn)把公共資源搞壞的情況了。

升級版GIL

再后來，多核技術開始興起了，一個CPU里面可以同時執(zhí)行多個線程。小伙伴們高興地把這個消息散播開了。

“老大，現(xiàn)在CPU有多核了，咱們可以一起執(zhí)行了，可不可以把那個GIL給去掉啊，這樣才能利用多核的優(yōu)勢啊。”

“是啊，隔壁Java線程老是嘲笑我們看起來人多，實際只有一個線程在執(zhí)行”

可說易行難，這么多年我們都是這樣工作的，要突然去掉，出了問題誰也不敢負責啊。

“可是老大，現(xiàn)在這個GIL鎖不公平”，新來的線程抱怨到。

“哪里不公平了？”

“我準備執(zhí)行代碼，發(fā)現(xiàn)鎖在你的手里，只好原地等待，等了半天都睡著了，好不容易等到你釋放了，操作系統(tǒng)把我給喚醒，準備去申請鎖，結果發(fā)現(xiàn)又被你搶到了，真是浪費表情”，新的線程滿臉委屈。

“是啊，老大，我也發(fā)現(xiàn)了，這不是偶發(fā)現(xiàn)象，我觀察很久了，經(jīng)常都會發(fā)生！頻繁被喚醒，卻發(fā)現(xiàn)白忙活一場，白白浪費CPU資源，大家都怨氣很大啊”，另一個線程伙伴也說到。

我有些不好意思，“嗯，這確實是個問題”

“還沒完呢”，新來的線程繼續(xù)說到：“現(xiàn)在按照字節(jié)碼指令數(shù)來統(tǒng)計，但有些指令碼簡單，有些很復雜，導致同樣數(shù)到100，有些線程可以運行很久，而有些就運行很快就結束了，也不公平”

小伙伴們提的問題都很重要，看來是時候對GIL進行一次升級了。

經(jīng)過一陣激烈的討論，我們改進了原來對GIL，用上了新的策略：

不再用計數(shù)的方式，改用時間片的方式：每個線程的執(zhí)行時間片是5000微秒。

為了保證釋放GIL后，不被自己馬上又搶到，新增了一個鎖實現(xiàn)強制線程切換

改進以后，這下總算公平了，各位小伙伴再也沒有話說，又可以安心的工作了。

結語

Python是一門解釋執(zhí)行的語言，擁有強大的第三方庫和跨平臺能力，近幾年Python煥發(fā)了第二春，橫掃爬蟲、web開發(fā)、機器學習等眾多領域。

但長期以來，Python最為人詬病的就是它有一把鎖：GIL，這把鎖讓Python無法真正的實現(xiàn)多線程執(zhí)行，無法利用多核CPU的高性能。

實際上，這個鎖跟Python沒有半毛錢的關系，而是負責解釋執(zhí)行Python的解釋器：CPython的鍋。

CPython是用C語言編寫的Python解釋器，也是最廣為使用的Python解釋器，一般在沒有特殊說明時，說Python指的就是這個CPython解釋器。

Python誕生之初，多線程技術還遠沒有今天這么深入人心，甚至多核CPU也是Python誕生許多年后才出現(xiàn)的。早期的解釋器中為了支持多個線程，使用了粗暴的GIL來進行控制，方便簡單的同時，也成為了CPython的巨大歷史包袱。

在Python3.2之前，Python使用簡單的計數(shù)法來統(tǒng)計控制每個線程執(zhí)行的時間。在這之后，引入了更為公平的時間片方式來升級替換。

過去二十年，曾經(jīng)有許許多多大牛都嘗試徹底去除GIL，但都沒有完美成功。

雖然Python沒能徹底去除GIL，好在，提供了其他幾種方式“曲線救國”實現(xiàn)并發(fā)：

Ctypes 通過編寫C語言擴展與Python交互，在C語言層面繞過GIL實現(xiàn)多核利用。

MultiProcess Python提供了MultiProcess，通過多進程的方式繞過GIL

協(xié)程 協(xié)程又稱用戶態(tài)線程，Python3.4版本后新增了對協(xié)程的支持，也是對性能的提升提供了一種選擇。

審核編輯：劉清