如何最好地使用所有可用的 LLM 工具

許多企業(yè)（OpenAI、AI21、CoHere 等）正在提供 LLM 作為服務(wù)，因?yàn)樗鼈冊(cè)谏虡I(yè)、科學(xué)和金融環(huán)境中具有誘人的潛力。雖然 GPT-4 和其他 LLM 在諸如問答等任務(wù)上展示了破紀(jì)錄的性能，但它們?cè)诟咄掏铝繎?yīng)用程序中的使用可能會(huì)非常昂貴。例如，使用 GPT-4 協(xié)助客戶服務(wù)可能會(huì)使小型企業(yè)每月花費(fèi)超過 21,000 美元，而 ChatGPT 預(yù)計(jì)每天花費(fèi)超過 700,000 美元。使用最大的 LLM 需要付出高昂的貨幣代價(jià)，并對(duì)環(huán)境和社會(huì)產(chǎn)生嚴(yán)重的負(fù)面影響。

研究表明，許多 LLM 可以通過 API 以各種定價(jià)獲得。使用 LLM API 的成本通常分為三個(gè)部分：

提示成本（與提示的持續(xù)時(shí)間成比例）
生成成本（與生成長(zhǎng)度成比例）
每個(gè)問題的固定費(fèi)用。
鑒于價(jià)格和質(zhì)量的廣泛差異，從業(yè)者可能很難決定如何最好地使用所有可用的 LLM 工具。此外，如果服務(wù)中斷，則依賴單個(gè) API 提供者是不可靠的，這可能發(fā)生在意外高需求的情況下。

上傳失敗，網(wǎng)絡(luò)異常。

重試

當(dāng)前模型級(jí)聯(lián)和 FrugalML 等模型集成范例未考慮 LLM 的局限性，這些范例是為具有固定標(biāo)簽集的預(yù)測(cè)任務(wù)開發(fā)的。

斯坦福大學(xué)最近的研究提出了一個(gè)名為 FrugalGPT 的預(yù)算友好型框架的概念，它利用 LLM API 來處理自然語(yǔ)言查詢。

及時(shí)適應(yīng)、LLM 近似和 LLM 級(jí)聯(lián)是降低成本的三種主要方法。為了節(jié)省開支，提示適應(yīng)調(diào)查了確定哪些提示最有效的方法。通過近似復(fù)雜且昂貴的 LLM，可以開發(fā)更簡(jiǎn)單且更具成本效益的替代方案，其性能與原始方案一樣好。 LLM 級(jí)聯(lián)的關(guān)鍵思想是為各種查詢動(dòng)態(tài)選擇合適的 LLM API。

實(shí)施并評(píng)估了基于 LLM 級(jí)聯(lián)構(gòu)建的 FrugalGPT 基本版本，以展示這些想法的潛力。對(duì)于每個(gè)數(shù)據(jù)集和任務(wù)，F(xiàn)rugalGPT 學(xué)習(xí)如何自適應(yīng)地將數(shù)據(jù)集中的問題分類到 LLM 的各種組合，例如 ChatGPT、GPT-3 和 GPT-4。與最好的單個(gè) LLM API 相比，F(xiàn)rugalGPT 節(jié)省了高達(dá) 98% 的推理成本，同時(shí)在下游任務(wù)上保持相同的性能。另一方面，F(xiàn)rugalGPT 可以以相同的價(jià)格實(shí)現(xiàn)高達(dá) 4% 的性能提升。

FrugalGPT 的 LLM 級(jí)聯(lián)技術(shù)需要對(duì)標(biāo)記示例進(jìn)行訓(xùn)練。此外，為了使級(jí)聯(lián)有效，訓(xùn)練和測(cè)試示例應(yīng)該具有相同或相似的分布。此外，掌握LLM級(jí)聯(lián)也需要時(shí)間和精力。

FrugalGPT 尋求性能和成本之間的平衡，但其他因素，包括延遲、公平性、隱私和環(huán)境影響，在實(shí)踐中更為重要。該團(tuán)隊(duì)認(rèn)為，未來的研究應(yīng)側(cè)重于在不犧牲性能或成本效益的情況下將這些功能納入優(yōu)化方法。 LLM 生成的結(jié)果的不確定性也需要仔細(xì)量化以用于風(fēng)險(xiǎn)關(guān)鍵型應(yīng)用。