Python異步IO的核心知識(shí)，你掌握了嗎？

Python 的 asyncio 類似于 C++ 的 Boost.Asio。

異步 IO，就是你發(fā)起一個(gè) IO 操作，不用等它結(jié)束，可以繼續(xù)做其他事情，當(dāng)它結(jié)束時(shí)，你會(huì)得到通知。

Asyncio 是并發(fā)（concurrency）的一種方式。對(duì) Python 來(lái)說(shuō)，并發(fā)還可以通過(guò)線程（threading）和多進(jìn)程（multiprocessing）來(lái)實(shí)現(xiàn)。

Asyncio 并不能帶來(lái)真正的并行（parallelism）。當(dāng)然，因?yàn)?GIL（全局解釋器鎖）的存在，Python 的多線程也不能帶來(lái)真正的并行。

可交給 asyncio 執(zhí)行的任務(wù)，稱為協(xié)程（coroutine）。一個(gè)協(xié)程可以放棄執(zhí)行，把機(jī)會(huì)讓給其它協(xié)程（即 yield from 或 await）。

定義協(xié)程

協(xié)程的定義，需要使用 async def 語(yǔ)句。

do_some_work 便是一個(gè)協(xié)程。

準(zhǔn)確來(lái)說(shuō)，do_some_work 是一個(gè)協(xié)程函數(shù)，可以通過(guò) asyncio.iscoroutinefunction 來(lái)驗(yàn)證：

這個(gè)協(xié)程什么都沒(méi)做，我們讓它睡眠幾秒，以模擬實(shí)際的工作量 ：

在解釋 await 之前，有必要說(shuō)明一下協(xié)程可以做哪些事。協(xié)程可以：

asyncio.sleep 也是一個(gè)協(xié)程，所以 await asyncio.sleep(x) 就是等待另一個(gè)協(xié)程?？蓞⒁?jiàn) asyncio.sleep 的文檔：

運(yùn)行協(xié)程

調(diào)用協(xié)程函數(shù)，協(xié)程并不會(huì)開(kāi)始運(yùn)行，只是返回一個(gè)協(xié)程對(duì)象，可以通過(guò) asyncio.iscoroutine 來(lái)驗(yàn)證：

此處還會(huì)引發(fā)一條警告：

要讓這個(gè)協(xié)程對(duì)象運(yùn)行的話，有兩種方式：

簡(jiǎn)單來(lái)說(shuō)，只有 loop 運(yùn)行了，協(xié)程才可能運(yùn)行。

下面先拿到當(dāng)前線程缺省的 loop ，然后把協(xié)程對(duì)象交給 loop.run_until_complete，協(xié)程對(duì)象隨后會(huì)在 loop 里得到運(yùn)行。

run_until_complete 是一個(gè)阻塞（blocking）調(diào)用，直到協(xié)程運(yùn)行結(jié)束，它才返回。這一點(diǎn)從函數(shù)名不難看出。

run_until_complete 的參數(shù)是一個(gè) future，但是我們這里傳給它的卻是協(xié)程對(duì)象，之所以能這樣，是因?yàn)樗趦?nèi)部做了檢查，通過(guò) ensure_future 函數(shù)把協(xié)程對(duì)象包裝（wrap）成了 future。所以，我們可以寫(xiě)得更明顯一些：

完整代碼：

運(yùn)行結(jié)果：

回調(diào)

假如協(xié)程是一個(gè) IO 的讀操作，等它讀完數(shù)據(jù)后，我們希望得到通知，以便下一步數(shù)據(jù)的處理。這一需求可以通過(guò)往 future 添加回調(diào)來(lái)實(shí)現(xiàn)。

多個(gè)協(xié)程

實(shí)際項(xiàng)目中，往往有多個(gè)協(xié)程，同時(shí)在一個(gè) loop 里運(yùn)行。為了把多個(gè)協(xié)程交給 loop，需要借助 asyncio.gather 函數(shù)。

或者先把協(xié)程存在列表里：

運(yùn)行結(jié)果：

這兩個(gè)協(xié)程是并發(fā)運(yùn)行的，所以等待的時(shí)間不是 1 + 3 = 4 秒，而是以耗時(shí)較長(zhǎng)的那個(gè)協(xié)程為準(zhǔn)。

參考函數(shù) gather 的文檔：

發(fā)現(xiàn)也可以傳 futures 給它：

gather 起聚合的作用，把多個(gè) futures 包裝成單個(gè) future，因?yàn)?loop.run_until_complete 只接受單個(gè) future。

run_until_complete 和 run_forever

我們一直通過(guò) run_until_complete 來(lái)運(yùn)行 loop ，等到 future 完成，run_until_complete 也就返回了。

輸出：

現(xiàn)在改用 run_forever：

輸出：

三秒鐘過(guò)后，future 結(jié)束，但是程序并不會(huì)退出。run_forever 會(huì)一直運(yùn)行，直到 stop 被調(diào)用，但是你不能像下面這樣調(diào) stop：

run_forever 不返回，stop 永遠(yuǎn)也不會(huì)被調(diào)用。所以，只能在協(xié)程中調(diào) stop：

這樣并非沒(méi)有問(wèn)題，假如有多個(gè)協(xié)程在 loop 里運(yùn)行：

第二個(gè)協(xié)程沒(méi)結(jié)束，loop 就停止了——被先結(jié)束的那個(gè)協(xié)程給停掉的。

要解決這個(gè)問(wèn)題，可以用 gather 把多個(gè)協(xié)程合并成一個(gè) future，并添加回調(diào)，然后在回調(diào)里再去停止 loop。

其實(shí)這基本上就是 run_until_complete 的實(shí)現(xiàn)了，run_until_complete 在內(nèi)部也是調(diào)用 run_forever。

Close Loop?

以上示例都沒(méi)有調(diào)用 loop.close，好像也沒(méi)有什么問(wèn)題。所以到底要不要調(diào) loop.close 呢？

簡(jiǎn)單來(lái)說(shuō)，loop 只要不關(guān)閉，就還可以再運(yùn)行。：

但是如果關(guān)閉了，就不能再運(yùn)行了：

建議調(diào)用 loop.close，以徹底清理 loop 對(duì)象防止誤用。

gather vs. wait

asyncio.gather 和 asyncio.wait 功能相似。

具體差別可請(qǐng)參見(jiàn) StackOverflow 的討論：Asyncio.gather vs asyncio.wait。

Timer

C++ Boost.Asio 提供了 IO 對(duì)象 timer，但是 Python 并沒(méi)有原生支持 timer，不過(guò)可以用 asyncio.sleep 模擬。