NVIDIA全面加快Meta Llama 3的推理速度

Meta 最新開源大語言模型采用 NVIDIA 技術(shù)構(gòu)建，其經(jīng)過優(yōu)化后可在云、數(shù)據(jù)中心、邊緣和 PC 的 NVIDIA GPU 上運(yùn)行。

NVIDIA 發(fā)布對(duì)其所有平臺(tái)的優(yōu)化措施，此舉將加快最新一代大語言模型（LLM）Meta Llama 3 的運(yùn)行速度。

在與 NVIDIA 加速計(jì)算相結(jié)合后，該開源模型能夠使開發(fā)者、研究者和企業(yè)在各種應(yīng)用中負(fù)責(zé)任地進(jìn)行創(chuàng)新。

在 NVIDIA AI 上進(jìn)行訓(xùn)練

Meta 工程師在搭載 24,576 個(gè) NVIDIA Tensor Core GPU 的計(jì)算機(jī)集群上對(duì) Llama 3 進(jìn)行了訓(xùn)練，這些 GPU 通過 RoCE 和 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡(luò)相連。

為進(jìn)一步推動(dòng)生成式 AI 的發(fā)展，Meta 最近介紹了將其基礎(chǔ)設(shè)施擴(kuò)展到 35 萬個(gè) NVIDIA GPU 的計(jì)劃。

將 Llama 3 投入使用

通過 NVIDIA GPU 加速的各版本 Llama 3 目前可用于云、數(shù)據(jù)中心、邊緣和 PC。

開發(fā)者可通過瀏覽器在 ai.nvidia.com 上試用 Llama 3。該模型被打包成一項(xiàng)帶有標(biāo)準(zhǔn)應(yīng)用編程接口的 NVIDIA NIM 微服務(wù)，可以部署在任何位置。

企業(yè)可使用 NVIDIA NeMo 和自己的數(shù)據(jù)對(duì) Llama 3 進(jìn)行微調(diào)。NeMo 是一個(gè) LLM 開源框架，通過安全、受支持的 NVIDIA AI Enterprise 平臺(tái)提供。自定義模型可使用 NVIDIA TensorRT-LLM 進(jìn)行推理性能優(yōu)化，并通過 NVIDIA Triton 推理服務(wù)器進(jìn)行部署。

在設(shè)備和 PC 上運(yùn)行 Llama 3

Llama 3 還可在用于機(jī)器人和邊緣計(jì)算設(shè)備的 NVIDIA Jetson Orin 上運(yùn)行，創(chuàng)建類似 Jetson AI Lab 中的交互式代理。

此外，用于工作站和 PC 的 NVIDIA RTX 和 GeForce RTX GPU 也能加快 Llama 3 的推理速度。這些系統(tǒng)將開發(fā)者的目標(biāo)范圍擴(kuò)大到全球超過 1 億臺(tái)由 NVIDIA 提供加速的系統(tǒng)。

利用 Llama 3 獲得最佳性能

為聊天機(jī)器人部署 LLM 的最佳實(shí)踐包括實(shí)現(xiàn)低延遲、快速讀取和最佳 GPU 利用率之間的平衡，并以此來降低成本。

這種服務(wù)需要以用戶閱讀速度的兩倍（約為每秒 10 個(gè) token）提供 token（大致相當(dāng)于字詞）。

如果在使用 700 億參數(shù)級(jí) Llama 3 進(jìn)行的初步測試中應(yīng)用這些指標(biāo)，那么單個(gè) NVIDIA Tensor Core GPU 每秒可生成約 3,000 個(gè) token，足以同時(shí)為約 300 名用戶提供服務(wù)。

這意味著一臺(tái)搭載 8 個(gè)GPU 的 NVIDIA HGX 服務(wù)器每秒可提供 24,000 個(gè) token，相當(dāng)于同時(shí)支持 2,400 多名用戶，進(jìn)一步降低了成本。

在邊緣設(shè)備方面，80 億參數(shù)版本的 Llama 3 在 Jetson AGX Orin 上每秒可生成多達(dá) 40 個(gè) token，在 Jetson Orin Nano 上每秒可生成多達(dá) 15 個(gè) token。

推進(jìn)社區(qū)模型的發(fā)展

作為一個(gè)積極的開源貢獻(xiàn)者，NVIDIA 致力于優(yōu)化社區(qū)軟件，幫助用戶應(yīng)對(duì)最嚴(yán)峻的挑戰(zhàn)。開源模型還能提高 AI 的透明度，讓廣大用戶享受到 AI 安全性和彈性方面的工作成果。