如何解決ChatGPT API調(diào)用超時(shí)問(wèn)題

問(wèn)題重現(xiàn)

在調(diào)用 ChatGPT API 并使用流式輸出時(shí)，我們經(jīng)常會(huì)遇到網(wǎng)絡(luò)問(wèn)題導(dǎo)致的超時(shí)情況。有趣的是，筆者發(fā)現(xiàn)在本地調(diào)試遇到的超時(shí)，會(huì)在 10 分鐘后自動(dòng)恢復(fù)（為什么是 10 分鐘？我們留到后面解釋），但是在服務(wù)器上等待一會(huì)兒卻會(huì)失敗，報(bào)出超時(shí)異常（錯(cuò)誤代碼 502）。

筆者認(rèn)為，本地能恢復(fù)的原因可能是自動(dòng)重試，只是重試的時(shí)間有點(diǎn)久（ChatGPT API 沒(méi)有重試功能，這是項(xiàng)目加入的）。服務(wù)器返回「502」是因?yàn)閮?nèi)容從后臺(tái)返回到前端需要經(jīng)過(guò)網(wǎng)關(guān)層，而網(wǎng)關(guān)層超時(shí)校驗(yàn)的時(shí)間比自動(dòng)重試的時(shí)間（10 分鐘）更短，所以撐不到重試就會(huì)報(bào)超時(shí)異常。

基于以上場(chǎng)景，本文著手解決 ChatGPT API 調(diào)用超時(shí)問(wèn)題。

優(yōu)化訴求

不向用戶展示超時(shí)的報(bào)錯(cuò)信息。

縮短超時(shí)后重試的時(shí)間間隔。

解決思路

筆者考慮了兩種方案。

一是徹底解決網(wǎng)絡(luò)問(wèn)題，但難度有點(diǎn)大。這屬于 OpenAI 服務(wù)器問(wèn)題，即使是部署在國(guó)外的服務(wù)器也會(huì)出現(xiàn)超時(shí)的情況。

二是利用自動(dòng)重試解決問(wèn)題。通過(guò)調(diào)整超時(shí)的時(shí)間，提升響應(yīng)速度，方案可行。

實(shí)施解決方案

解決過(guò)程中，筆者分兩步由淺至深地調(diào)整了超時(shí)時(shí)間；如果想直接了解最終方案，請(qǐng)移步「解決方案二」~

運(yùn)行環(huán)境：

Python: 3.10.7

openai: 0.27.6

調(diào)用方法：?

openai.api_resources.chat_completion.ChatCompletion.acreate

（ 這是異步調(diào)用 ChatGPT 的方法。）

方法調(diào)用鏈路：

超時(shí)參數(shù) ClientTimeout，一共有 4 個(gè)屬性 total、connect、sock_read 和 sock_connect。

#?方法?->?超時(shí)相關(guān)參數(shù)
openai.api_resources.chat_completion.ChatCompletion.acreate?->?kwargs
openai.api_resources.abstract.engine_api_resource.EngineAPIResource.acreate?->?params
openai.api_requestor.APIRequestor.arequest?->?request_timeout
#?request_timeout?在這一步變成了?timeout，因此，只需要傳參?request_timeout?即可
openai.api_requestor.APIRequestor.arequest_raw?->?request_timeout
aiohttp.client.ClientSession.request?->?kwargs
aiohttp.client.ClientSession._request?->?timeout
????tm?=?TimeoutHandle(self._loop,?real_timeout.total)?->?ClientTimeout.total
????async?with?ceil_timeout(real_timeout.connect):?->?ClientTimeout.connect
#?子分支1
aiohttp.connector.BaseConnector.connect?->?timeout
aiohttp.connector.TCPConnector._create_connection?->?timeout
aiohttp.connector.TCPConnector._create_direct_connection?->?timeout
aiohttp.connector.TCPConnector._wrap_create_connection?->?timeout
????async?with?ceil_timeout(timeout.sock_connect):?->?ClientTimeout.sock_connect
#?子分支2
aiohttp.client_reqrep.ClientRequest.send?->?timeout
aiohttp.client_proto.ResponseHandler.set_response_params?->?read_timeout
aiohttp.client_proto.ResponseHandler._reschedule_timeout?->?self._read_timeout
????if?timeout:
????self._read_timeout_handle?=?self._loop.call_later(
????????timeout,?self._on_read_timeout
????)?->?ClientTimeout.sock_read

解決方案一

openai.api_requestor.APIRequestor.arequest_raw?方法中的?request_timeout?參數(shù)可以傳遞 connect 和 total?參數(shù)，因此可以在調(diào)用openai.api_resources.chat_completion.ChatCompletion.acreate時(shí)，設(shè)置 request_time(10, 300)。

#
async?def?arequest_raw(
????self,
????method,
????url,
????session,
????*,
????params=None,
????supplied_headers:?Optional[Dict[str,?str]]?=?None,
????files=None,
????request_id:?Optional[str]?=?None,
????request_timeout:?Optional[Union[float,?Tuple[float,?float]]]?=?None,
)?->?aiohttp.ClientResponse:
????abs_url,?headers,?data?=?self._prepare_request_raw(
????????url,?supplied_headers,?method,?params,?files,?request_id
????)
????
????if?isinstance(request_timeout,?tuple):
????????timeout?=?aiohttp.ClientTimeout(
????????????connect=request_timeout[0],
????????????total=request_timeout[1],
????????)else:
????????????timeout?=?aiohttp.ClientTimeout(
????????????????total=request_timeout?if?request_timeout?else?TIMEOUT_SECS
????????????)
????...

該方案有效，但沒(méi)有完全生效：它可以控制連接時(shí)間和請(qǐng)求的全部時(shí)間，但沒(méi)有徹底解決超時(shí)異常，因?yàn)椤刚?qǐng)求連接時(shí)間」和「第一個(gè)字符讀取時(shí)間」是兩碼事?！刚?qǐng)求連接時(shí)間」基于 total 時(shí)間重試（300s），而網(wǎng)關(guān)時(shí)間并沒(méi)有設(shè)置這么久。

于是，筆者繼續(xù)提出「解決方案二」。

解決方案二

使用 monkey_patch?方式重寫openai.api_requestor.APIRequestor.arequest_raw?方法，重點(diǎn)在于重寫 request_timeout 參數(shù)，讓其支持原生的 aiohttp.client.ClientTimeout 參數(shù)。

1. 新建 api_requestor_mp.py 文件，并寫入以下代碼。

#?注意?request_timeout?參數(shù)已經(jīng)換了，Optional[Union[float,?Tuple[float,?float]]]?->?Optional[Union[float,?tuple]]
async?def?arequest_raw(
????????self,
????????method,
????????url,
????????session,
????????*,
????????params=None,
????????supplied_headers:?Optional[Dict[str,?str]]?=?None,
????????files=None,
????????request_id:?Optional[str]?=?None,
????????request_timeout:?Optional[Union[float,?tuple]]?=?None,
)?->?aiohttp.ClientResponse:
????abs_url,?headers,?data?=?self._prepare_request_raw(
????????url,?supplied_headers,?method,?params,?files,?request_id
????)
????#?判斷?request_timeout?的類型，按需設(shè)置?sock_read?和?sock_connect?屬性
????if?isinstance(request_timeout,?tuple):
????????timeout?=?aiohttp.ClientTimeout(
????????????connect=request_timeout[0],
????????????total=request_timeout[1],
????????????sock_read=None?if?len(request_timeout)?

	2. 在初始化 ChatGPT API 的文件頭部補(bǔ)充：
from?*.*.api_requestor_mp?import?monkey_patch

do_api_requestor?=?monkey_patch


	設(shè)置參數(shù) request_timeout=(10, 300, 15, 10)?后，再調(diào)試就沒(méi)什么問(wèn)題了。

	交付測(cè)試，通過(guò)。

	經(jīng)驗(yàn)總結(jié)

	直接看代碼、看方法調(diào)用鏈路會(huì)有點(diǎn)困難，可以通過(guò)異常堆棧來(lái)找調(diào)用鏈路，這樣更方便。

	ChatGPT API 暴露的?request_timeout?參數(shù)不夠用，需要重寫；搜索了一下重寫方案，了解到 monkey_patch，非常實(shí)用。

	項(xiàng)目過(guò)程中，筆者發(fā)現(xiàn)改代碼本身不難，難的是知道「改哪里」「怎么改」以及「為什么」。

	審核編輯：黃飛

	?