GTC23 | NVIDIA 推出用于大型語言模型和生成式 AI 工作負(fù)載的推理平臺

谷歌云、D-ID、Cohere 將新平臺用于各種生成式 AI 服務(wù)，包括聊天機(jī)器人、文本生成圖像內(nèi)容、AI 視頻等

加利福尼亞州圣克拉拉 - GTC - 太平洋時(shí)間 2023 年 3 月 21 日 – NVIDIA 于今日推出四款推理平臺。這些平臺針對各種快速興起的生成式 AI 應(yīng)用進(jìn)行了優(yōu)化，能夠幫助開發(fā)人員快速構(gòu)建用于提供新服務(wù)和洞察的 AI 驅(qū)動的專業(yè)應(yīng)用。

這些平臺將 NVIDIA 的全棧推理軟件與最新的 NVIDIA Ada、Hopper 和 Grace Hopper 處理器相結(jié)合，包括今天推出的 NVIDIA L4 Tensor Core GPU 和 NVIDIA H100 NVL GPU。各平臺針對 AI 視頻、圖像生成、大型語言模型部署、推薦系統(tǒng)推理等需求激增的工作負(fù)載進(jìn)行了優(yōu)化。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“生成式 AI 的興起需要更加強(qiáng)大的推理計(jì)算平臺。生成式 AI 應(yīng)用的數(shù)量是無限的，它唯一的限制就是人類的想象力。為開發(fā)人員提供最強(qiáng)大、靈活的推理計(jì)算平臺將加快新服務(wù)的創(chuàng)造速度，這些新服務(wù)將以前所未有的方式改善我們的生活?！?/p>

加速生成式 AI 的各種推理工作負(fù)載集

每個(gè)平臺都包含一個(gè)為特定生成式 AI 推理工作負(fù)載而優(yōu)化的 NVIDIA GPU 和專用的軟件：

• 適用于 AI 視頻的 NVIDIA L4 可提供比 CPU 高出 120 倍的 AI 視頻性能，同時(shí)能效提高了 99%。這款適用于幾乎所有工作負(fù)載的通用 GPU 提供更加強(qiáng)大的視頻解碼和轉(zhuǎn)碼能力、視頻流式傳輸、增強(qiáng)現(xiàn)實(shí)、生成式 AI 視頻等。

• 適用于圖像生成的 NVIDIA L40 針對圖形以及 AI 支持的 2D、視頻和 3D 圖像生成進(jìn)行了優(yōu)化。L40 平臺是 NVIDIA Omniverse（一個(gè)用于在數(shù)據(jù)中心構(gòu)建和運(yùn)行元宇宙應(yīng)用的平臺）的引擎，與上一代產(chǎn)品相比，其 Stable Diffusion 推理性能提高了 7 倍，Omniverse 性能提高了 12 倍。

• 適用于大型語言模型部署的 NVIDIA H100 NVL 是規(guī)?；渴鹣?ChatGPT 這樣的大型語言模型（LLMs）的理想平臺。這款新的 H100 NVL 擁有 94GB 內(nèi)存和 Transformer 引擎加速，在數(shù)據(jù)中心規(guī)模，與上一代 A100 相比，GPT-3 上的推理性能提高了多達(dá) 12 倍。

• 適用于推薦模型的 NVIDIA Grace Hopper 是圖形推薦模型、矢量數(shù)據(jù)庫和圖神經(jīng)網(wǎng)絡(luò)的理想平臺。通過 NVLink-C2C 以 900 GB/s 的速度連接 CPU 和 GPU，Grace Hopper 的數(shù)據(jù)傳輸和查詢速度比 PCIe 5.0 快了 7 倍。

這些平臺的軟件層采用 NVIDIA AI Enterprise 軟件套件，包括用于高性能深度學(xué)習(xí)推理的軟件開發(fā)套件 NVIDIA TensorRT，以及幫助實(shí)現(xiàn)模型部署標(biāo)準(zhǔn)化的開源推理服務(wù)軟件 NVIDIA Triton Inference Server。

早期采用者與支持

谷歌云是 NVIDIA 推理平臺的重要云合作伙伴和早期客戶。該公司正在將 L4 平臺整合到其機(jī)器學(xué)習(xí)平臺 Vertex AI 中，并且是第一家提供 L4 實(shí)例的云服務(wù)提供商，其 G2 虛擬機(jī)的私人預(yù)覽版已于今天推出。

NVIDIA 和谷歌今天分別宣布了首批在谷歌云上使用 L4 的兩家機(jī)構(gòu)——Descript 和 WOMBO，前者使用生成式 AI 幫助創(chuàng)作者制作視頻和播客，后者提供 “Dream” 這一 AI 驅(qū)動的文本-數(shù)字藝術(shù)轉(zhuǎn)換應(yīng)用程序。

另一個(gè)早期采用者快手提供了一個(gè)短視頻應(yīng)用程序，利用 GPU 對傳入的實(shí)時(shí)流媒體視頻進(jìn)行解碼、捕捉關(guān)鍵幀并優(yōu)化音視頻。然后，它使用一個(gè)基于 Transformer 的大型模型理解多模態(tài)內(nèi)容，從而提高全球數(shù)億用戶的點(diǎn)擊率。

快手高級副總裁于越表示：“快手推薦系統(tǒng)所服務(wù)的社區(qū)每天的用戶人數(shù)超過 3.6 億，他們每天貢獻(xiàn) 3000 萬條 UGC 視頻。在相同的總體擁有成本下，相較于 CPU，NVIDIA GPU 將系統(tǒng)的端到端吞吐量提高了 11 倍，將延遲降低了 20%?！?/p>

領(lǐng)先的生成式 AI 技術(shù)平臺 D-ID，通過使用 NVIDIA L40 GPU 從文本中生成逼真的數(shù)字人，支持任何內(nèi)容來生成人臉，不僅幫助專業(yè)人士改進(jìn)視頻內(nèi)容，同時(shí)減少了大規(guī)模視頻制作的成本和麻煩。

D-ID 研發(fā)副總裁 Or Gorodissky 表示：“L40 的性能十分驚人。有了它，我們將推理速度提高了一倍。D-ID 十分高興能夠?qū)⑦@個(gè)新硬件作為我們產(chǎn)品的一部分，以前所未有的性能和分辨率實(shí)現(xiàn) AI 人的實(shí)時(shí)流傳輸，并降低我們的計(jì)算成本?！?/p>

領(lǐng)先的 AI 制作工作室 Seyhan Lee 使用生成式 AI 為電影、廣播和娛樂行業(yè)開發(fā)沉浸式體驗(yàn)和迷人的創(chuàng)意內(nèi)容。

Seyhan Lee 聯(lián)合創(chuàng)始人 Pinar Demirdag 表示：“L40 GPU 為我們的生成式 AI 應(yīng)用帶來了驚人的性能提升。憑借 L40 的推理能力和內(nèi)存容量，我們可以部署非常先進(jìn)的模型，并以驚人的速度和精度向客戶提供創(chuàng)新的服務(wù)?！?/p>

語言 AI 領(lǐng)域的先鋒 Cohere 所運(yùn)行的平臺使得開發(fā)人員能夠在保護(hù)數(shù)據(jù)隱私和安全的情況下，構(gòu)建自然語言模型。

Cohere 首席執(zhí)行官 Aidan Gomez 表示：“憑借 NVIDIA 的全新高性能 H100 推理平臺，我們可以使用先進(jìn)的生成式模型為客戶提供更加優(yōu)質(zhì)、高效的服務(wù)，推動對話式 AI、多語言企業(yè)搜索、信息提取等各種 NLP 應(yīng)用的發(fā)展?！?/p>

供應(yīng)情況

NVIDIA L4 GPU 私人預(yù)覽版現(xiàn)已通過谷歌云平臺以及 30 多家計(jì)算機(jī)制造商所組成的全球網(wǎng)絡(luò)提供。

NVIDIA L40 GPU 現(xiàn)已通過全球領(lǐng)先的系統(tǒng)提供商提供，并且合作伙伴平臺的數(shù)量將在今年持續(xù)增加。

Grace Hopper 超級芯片已開始樣品供貨，預(yù)計(jì)下半年將全面投產(chǎn)。H100 NVL GPU 也將于下半年面市。

NVIDIA AI Enterprise 現(xiàn)在通過各大云市場以及數(shù)十家系統(tǒng)提供商和合作伙伴提供。NVIDIA AI Enterprise 為客戶提供 NVIDIA 企業(yè)級支持、定期安全審查以及 NVIDIA Triton Inference Server、TensorRT 和 50 多個(gè)預(yù)訓(xùn)練模型與框架的 API 穩(wěn)定性。

NVIDIA LaunchPad 上免費(fèi)提供的動手實(shí)驗(yàn)室可以試用用于生成式 AI 的 NVIDIA 推理平臺。樣品實(shí)驗(yàn)室的內(nèi)容包括訓(xùn)練和部署一個(gè)客服聊天機(jī)器人、部署一個(gè)端到端 AI 工作負(fù)載、在 H100 上調(diào)整和部署一個(gè)語言模型以及使用 NVIDIA Triton 部署一個(gè)欺詐檢測模型。

掃描海報(bào)二維碼，或點(diǎn)擊“閱讀原文”，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！

?

百里挑一！

3 月 23 日不可錯(cuò)過的演講!

GTC23 | 黃仁勛與 Ilya Sutskever 的爐邊談話重磅來襲！— 看 AI 的現(xiàn)狀和未來