基于CPU的大型語言模型推理實(shí)驗(yàn)

隨著計(jì)算和數(shù)據(jù)處理變得越來越分散和復(fù)雜，AI 的重點(diǎn)正在從初始訓(xùn)練轉(zhuǎn)向更高效的AI 推理。Meta 的 Llama3 是功能強(qiáng)大的公開可用的大型語言模型 （LLM）。本次測(cè)試采用開源 LLM 的最新版本，對(duì) Oracle OCI 上的 Ampere 云原生處理器進(jìn)行優(yōu)化，最終證明提供了前所未有的性能和靈活性。

在超過 15T 數(shù)據(jù)標(biāo)記上進(jìn)行訓(xùn)練，Llama3 模型的訓(xùn)練數(shù)據(jù)集比 Llama2 的訓(xùn)練數(shù)據(jù)集大 7 倍，數(shù)據(jù)和規(guī)模均提升到了新的高度。Llama3 的開放訪問模型在語言細(xì)微差別、上下文理解以及翻譯和對(duì)話生成等復(fù)雜任務(wù)方面表現(xiàn)都很出色。作為正在進(jìn)行的 Ampere llama.cpp優(yōu)化工作的延續(xù)，企業(yè)現(xiàn)在可以使用基于 Ampere 的 OCI A1 形狀，體驗(yàn)最先進(jìn)的 Llama3 性能。

Ampere架構(gòu)

Ampere 云原生處理器優(yōu)化了功耗，提供行業(yè)領(lǐng)先的性能、可擴(kuò)展性和靈活性，幫助企業(yè)有效地處理不同的工作負(fù)載的同時(shí)，適應(yīng)應(yīng)用程序越來越高的要求，以及不斷增長的數(shù)據(jù)量和處理需求。通過利用云基礎(chǔ)設(shè)施進(jìn)行水平擴(kuò)展，支持處理大規(guī)模數(shù)據(jù)集并支持并發(fā)任務(wù)。通過單線程內(nèi)核消除嘈雜鄰居效應(yīng)、更高的內(nèi)核數(shù)量提高計(jì)算密度以及降低每個(gè)計(jì)算單元的功耗從而降低整體 TCO。

Llama3 vs Llama2

隨著對(duì)可持續(xù)性和功耗的日益關(guān)注，行業(yè)正趨向于選擇更小的 AI 模型，以實(shí)現(xiàn)效率、準(zhǔn)確性、成本和易部署性。Llama3 8B 在特定任務(wù)上可提供與 Llama2 70B 相似或更好的性能，因?yàn)樗男屎洼^低的過擬合風(fēng)險(xiǎn)。大型 100B LLM（例如 PaLM2、340B）或閉源模型（例如 GPT4）的計(jì)算成本可能很高，且通常不適合在資源受限的環(huán)境中進(jìn)行部署。高昂的成本，以及由于其尺寸大小和處理要求的復(fù)雜，部署起來可能很麻煩，在邊緣設(shè)備上尤為明顯。Llama3 8B作為一個(gè)較小的模型，將更容易集成到各種環(huán)境中，從而能夠更廣泛地采用生成式 AI 功能。

Llama3 8B的性能

在之前成功的基礎(chǔ)上，Ampere AI 的工程團(tuán)隊(duì)對(duì)llama.cpp進(jìn)行了微調(diào)，以實(shí)現(xiàn) Ampere 云原生處理器的最佳性能?；?Ampere 的 OCI A1 實(shí)例現(xiàn)在可以為 Llama 3 提供最佳支持。這個(gè)優(yōu)化的 Llama.cpp 框架在 DockerHub 上免費(fèi)提供，二進(jìn)制文件可在此訪問：

在基于 Ampere 的 OCI A1 Flex 機(jī)器上進(jìn)行的性能基準(zhǔn)測(cè)試表明，即使在較大批量的情況下，Llama 3 8B 型號(hào)的功能也令人印象深刻。在單節(jié)點(diǎn)配置下，吞吐量高達(dá)每秒 91 個(gè)TokenTokens，推理速度凸顯了 Ampere 云原生處理器對(duì) AI 推理的適用性。OCI 區(qū)域的廣泛可用性確保了全球用戶的可訪問性和可擴(kuò)展性。

下列圖表詳細(xì)介紹了具有 64 個(gè) OCPU 和 360 GB 內(nèi)存的單節(jié)點(diǎn) OCI Ampere A1 Flex 機(jī)器的關(guān)鍵性能指標(biāo)，并發(fā)批量處理大小為 1-16，輸入和輸出 TokenToken大小為 128。Llama 3 8B 的性能與 Ampere A1 上的 Llama 2 7B 相當(dāng)。

下圖顯示了在基于 Ampere 的 OCI A1 實(shí)例上運(yùn)行的 Llama3 8B 與 AWS 上的 NVIDIA A10 GPU 的每百萬個(gè) Token 的成本。Ampere A1 實(shí)例在批量大小為 1-8 時(shí)可節(jié)省大量成本，同時(shí)提供更流暢的用戶體驗(yàn)。

Ampere的無 GPU AI 推理解決方案在小批量和低延遲應(yīng)用方面處于領(lǐng)先地位。

每秒Token數(shù) （TPS）：每秒為 LLM 推理請(qǐng)求生成的Token數(shù)。此度量包括首次Token的時(shí)間和Token間的延遲。以每秒生成的Token數(shù)報(bào)告。

服務(wù)器端吞吐量 （TP）：此指標(biāo)量化服務(wù)器在所有并發(fā)用戶請(qǐng)求中生成的Token總數(shù)。它提供了服務(wù)器容量和效率的匯總度量，以處理跨用戶的請(qǐng)求。此指標(biāo)是根據(jù) TPS 報(bào)告的。

用戶側(cè)推理速度 （IS）：此指標(biāo)計(jì)算單個(gè)用戶請(qǐng)求的平均Token生成速度。它反映了服務(wù)器的響應(yīng)能力，從用戶的角度來看，它提供了一定級(jí)別的推理速度。此指標(biāo)是根據(jù) TPS 報(bào)告的。

實(shí)際操作

Docker鏡像可以在 DockerHub 上免費(fèi)獲取，llama.aio 二進(jìn)制文件可以在 Llama.aio二進(jìn)制文件中免費(fèi)獲取。這些圖像在大多數(shù)存儲(chǔ)庫（如 DockerHub、GitHub 和 Ampere Computing 的 AI 解決方案網(wǎng)頁 ）上都可用。

Ampere 模型庫（AML）是由 Ampere 的 AI 工程師開發(fā)和維護(hù)的 Ampere 動(dòng)物園模型庫。用戶可以訪問 AML 公共 GitHub 存儲(chǔ)庫，以驗(yàn)證 Ampere Altra 系列云原生處理器上 Ampere 優(yōu)化的 AI 框架的卓越性能。

要簡化部署過程并測(cè)試性能，請(qǐng)參閱 Ampere 提供支持的 LLM 推理聊天機(jī)器人和 OCI 上的自定義市場圖像，該圖像提供用戶友好的 LLM 推理llama.cpp和 Serge UI 開源項(xiàng)目。這使用戶能夠在 OCI 上部署和測(cè)試 Llama 3，并體驗(yàn)開箱即用的部署和即時(shí)集成。以下是 OCI 上 Ampere A1 計(jì)算的 OCI Ubuntu 22.04 市場鏡像的 UI 一瞥：

后續(xù)步驟

持續(xù)創(chuàng)新是 Ampere 一直以來的承諾，Ampere 和 Oracle 團(tuán)隊(duì)正在積極致力于擴(kuò)展場景支持，包括與檢索增強(qiáng)生成 （RAG）和 Lang 鏈功能的集成。這些增強(qiáng)功能將進(jìn)一步提升 Llama 3 在 Ampere 云原生處理器上的能力。

如果您是現(xiàn)有的 OCI 客戶，則可以輕松啟動(dòng) AmpereA1 LLM 推理入門映像。此外，Oracle 還提供長達(dá) 3 個(gè)月的 64 個(gè) Ampere A1 核心和 360GB 內(nèi)存的免費(fèi)儲(chǔ)值，以幫助驗(yàn)證 Ampere A1 flex 形狀上的 AI 工作負(fù)載，儲(chǔ)值將于 2024 年 12 月 31 日結(jié)束。

在基于 Ampere 的 OCI A1 實(shí)例上推出 Ampere 優(yōu)化的 Llama 3 代表了基于 CPU 的語言模型推理的里程碑式進(jìn)步，具有無與倫比的性價(jià)比、可擴(kuò)展性和易于部署等優(yōu)勢(shì)。隨著我們不斷突破 AI 驅(qū)動(dòng)計(jì)算的界限，我們邀請(qǐng)您加入我們的行列，踏上探索和發(fā)現(xiàn)的旅程。請(qǐng)繼續(xù)關(guān)注更多更新，我們將探索使用 Ampere 云原生處理器解鎖生成式 AI 功能的新可能性。