Python的異步編程功能(簡稱async)讓你可以編寫不必等待獨(dú)立任務(wù)完成就可以完成更多工作的程序。Python附帶的asyncio庫為你提供了使用async處理磁盤或網(wǎng)絡(luò)I/O、無需其他方面等待的工具。
asyncio提供了兩種處理異步操作的API:高級和低級。高級API用途廣泛,適用于各種應(yīng)用程序。低級API功能強(qiáng)大,但也很復(fù)雜,使用頻率較低。
本文重點(diǎn)介紹高級API。我們會逐步介紹asyncio中常用的高級API,說明它們?nèi)绾慰捎糜谏婕爱惒饺蝿?wù)的常見操作。
如果你完全剛接觸Python中的async,或者想了解其工作原理,不妨先看看本人介紹Python async的文章:https://www.infoworld.com/article/3454442/get-started-with-async-in-python.html,之后再作深入研究。
在Python中運(yùn)行協(xié)程和任務(wù)
很自然,asyncio最常見的用途是運(yùn)行Python腳本的異步部分。這意味著學(xué)會使用協(xié)程和任務(wù)。
Python的異步組件(包括協(xié)程和任務(wù))只能與其他異步組件一起使用,不能與常規(guī)的同步Python一起使用,因此需要asyncio來填補(bǔ)缺口。為此,你要使用asyncio.run函數(shù):
import asyncio
async def main():
print (“Waiting 5 seconds. ”)
for _ in range(5):
await asyncio.sleep(1)
print (“?!保?/p>
print (“Finished waiting.”)
asyncio.run(main())
這運(yùn)行main(),連同main()觸發(fā)的任何例程,等待結(jié)果返回。
通常而言,Python程序應(yīng)只有一個.run()語句,就像Python程序應(yīng)只有一個main()函數(shù)一樣。 如果不小心使用,async可能會使程序的控制流難以閱讀。程序的異步代碼只有一個入口點(diǎn)可以避免情況變得繁復(fù)。
異步函數(shù)還可以調(diào)度安排成tasks,即包裝協(xié)程并幫助運(yùn)行協(xié)和的對象。
async def my_task():
do_something()
task = asyncio.create_task(my_task())
my_task()隨后在事件循環(huán)中運(yùn)行,結(jié)果存儲在task中。
如果你只有一個任務(wù)想要獲取結(jié)果,可以使用asyncio.wait_for(task)來等待任務(wù)完成,然后使用task.result()檢索結(jié)果。但如果你安排了許多任務(wù)要執(zhí)行,并想要等待所有任務(wù)完成,不妨使用asyncio.wait([task1, task2])收集結(jié)果。(注意,如果你不希望超過一定長度的時(shí)間后運(yùn)行,可以設(shè)置操作的超時(shí)時(shí)間。)
在Python中管理異步事件循環(huán)
asyncio的另一個常見用途是管理異步事件循環(huán)。事件循環(huán)是運(yùn)行異步函數(shù)和回調(diào)的對象。使用asyncio.run()時(shí),它自動創(chuàng)建。你通常希望每個程序僅使用一個異步事件循環(huán),同樣以便管理。
如果你在編寫服務(wù)器等更高級的軟件,需要對事件循環(huán)擁有較低級別的訪問權(quán)。為此,你可以“揭開面紗”,直接接觸事件循環(huán)的內(nèi)部機(jī)制。不過如果是簡單的工作,不需要這么做。
在Python中使用streams讀寫數(shù)據(jù)
async的最佳使用場景是長時(shí)間運(yùn)行的網(wǎng)絡(luò)操作,其中應(yīng)用程序可能阻止等待其他某個資源返回結(jié)果。為此,asyncio提供了streams,這是用于執(zhí)行網(wǎng)絡(luò)I/O的高級機(jī)制。這包括充當(dāng)網(wǎng)絡(luò)請求的服務(wù)器。
asyncio使用兩個類StreamReader和StreamWriter,在高級層面進(jìn)行網(wǎng)絡(luò)讀寫。如果你要從網(wǎng)絡(luò)讀取,可以使用asyncio.open_connection()打開連接。該函數(shù)返回StreamReader對象和StreamWriter對象的元組,你要在每個對象上使用.read() 和.write()方法以便通信。
想接收來自遠(yuǎn)程主機(jī)的連接,使用asyncio.start_server()。asyncio.start_server()函數(shù)將回調(diào)函數(shù)client_connected_cb作為參數(shù)來接受,只要收到請求就調(diào)用該函數(shù)。該回調(diào)函數(shù)將StreamReader和StreamWriter的實(shí)例作為參數(shù),那樣你就能處理服務(wù)器的讀/寫邏輯。這個例子(https://gist.github.com/ethanfrey/75e58db27095936b9e5e)介紹了一個簡單的HTTP服務(wù)器使用asyncio驅(qū)動的aiohttp庫。
在Python中同步任務(wù)
異步任務(wù)往往獨(dú)立運(yùn)行,但有時(shí)你希望它們彼此通信。asyncio提供了隊(duì)列和另外幾種在任務(wù)之間進(jìn)行同步的機(jī)制:
隊(duì)列:asyncio隊(duì)列允許異步函數(shù)排列Python對象,以便供其他異步函數(shù)使用——比如說,基于行為在不同類型的函數(shù)之間分配工作負(fù)載。
同步原語:asyncio中的鎖、事件、條件和信號其工作方式類似常規(guī)的Python鎖、事件、條件和信號。
關(guān)于所有這些方法要記住的一點(diǎn)是它們不是線程安全的。對于在同一事件循環(huán)中運(yùn)行的異步任務(wù)來說這不是問題。但如果你試圖與不同事件循環(huán)、操作系統(tǒng)線程或進(jìn)程中的任務(wù)共享信息,就需要使用threading模塊及其對象來執(zhí)行此操作。
此外,如果你想跨線程邊界啟動協(xié)程,請使用asyncio.run_coroutine_threadsafe()函數(shù),然后將與它結(jié)合使用的事件循環(huán)作為參數(shù)傳遞。
在Python中暫停協(xié)程
asyncio的另一個常見、但很少討論的用途是在協(xié)程內(nèi)部等待任意時(shí)長。為此你不能使用time.sleep(),否則會阻塞整個程序。而是應(yīng)使用asyncio.sleep(),它允許其他協(xié)程繼續(xù)運(yùn)行。
在Python中使用較低級別的async
最后,如果你認(rèn)為構(gòu)建的應(yīng)用程序可能需要asyncio的較低級組件,在開始編程之前先考慮一番:很可能有人已經(jīng)構(gòu)建了可以滿足你需求的基于async的Python庫。
比如說,如果你需要異步DNS查詢,不妨查看aiodns庫;若是異步SSH會話,則有asyncSSH。通過關(guān)鍵字“async”(以及其他與任務(wù)相關(guān)的關(guān)鍵字)搜索PyPI,或查看人工篩選的Awesome Asyncio列表(https://github.com/timofurrer/awesome-asyncio),以獲取靈感。
責(zé)任編輯:ct
評論
查看更多