新服務(wù)通過(guò)熱門 AI 模型為數(shù)百萬(wàn)開發(fā)者帶來(lái)高達(dá) 5 倍的 token 效率提升,使他們能夠立即訪問(wèn)在 NVIDIA DGX Cloud 上運(yùn)行的 NIM 微服務(wù)。
全球最大人工智能社區(qū)之一 Hugging Face 平臺(tái)上的 400 萬(wàn)開發(fā)者在一些最熱門的 AI 模型上可輕松獲得 NVIDIA 加速推理。
借助新的推理即服務(wù)能力,開發(fā)者將能夠快速部署 Llama 3 系列和 Mistral AI 模型等領(lǐng)先的大語(yǔ)言模型,并使用運(yùn)行在NVIDIA DGX Cloud上的NVIDIA NIM微服務(wù)進(jìn)行優(yōu)化。
這項(xiàng)服務(wù)在 SIGGRAPH 大會(huì)上發(fā)布,它將幫助開發(fā)者利用托管在 Hugging Face Hub 上的開源 AI 模型快速建立原型并將其部署在生產(chǎn)中。Enterprise Hub 用戶可以利用 NVIDIA NIM 進(jìn)行無(wú)服務(wù)器推理,以提高靈活性,盡可能降低基礎(chǔ)設(shè)施用度并優(yōu)化性能。
推理服務(wù)補(bǔ)充了在 DGX Cloud 端的訓(xùn)練(Train on DGX Cloud),一種已在 Hugging Face 上提供的 AI 訓(xùn)練服務(wù)。
由于開發(fā)者面對(duì)著越來(lái)越多的開源模型,可供其輕松比較各種選項(xiàng)的資源中心會(huì)非常有幫助。這些訓(xùn)練和推理工具為 Hugging Face 開發(fā)者提供了在 NVIDIA 加速基礎(chǔ)設(shè)施上試驗(yàn)、測(cè)試和部署先進(jìn)模型的新方法。它們可以通過(guò) Hugging Face 模型卡上的“訓(xùn)練”和“部署”下拉菜單輕松訪問(wèn),用戶只需點(diǎn)擊幾下就能輕松使用這些功能。
不僅限于 Token 層面的提升
— NVIDIA NIM 帶來(lái)巨大優(yōu)勢(shì)
NVIDIA NIM 是一系列 AI 微服務(wù)(包括 NVIDIA AI 基礎(chǔ)模型和開源社區(qū)模型)的集合,而且已使用行業(yè)標(biāo)準(zhǔn)應(yīng)用編程接口(API)針對(duì)推理進(jìn)行了優(yōu)化。
NIM 為用戶帶來(lái)更高的 token 處理效率 — token 是語(yǔ)言模型使用和生成的數(shù)據(jù)單位。經(jīng)優(yōu)化的微服務(wù)還能改善底層 NVIDIA DGX Cloud 基礎(chǔ)架構(gòu)的效率,從而提高關(guān)鍵 AI 應(yīng)用的速度。
這意味著,與模型的其他版本相比,開發(fā)者可以通過(guò)訪問(wèn) NIM AI 模型,更快、更可靠地得到結(jié)果。例如,與 NVIDIA Tensor Core GPU 驅(qū)動(dòng)系統(tǒng)上的現(xiàn)成部署相比,通過(guò) NIM 訪問(wèn) Llama 3 的 700 億參數(shù)版本時(shí),可實(shí)現(xiàn)最高達(dá) 5 倍的吞吐量提升。
近乎即時(shí)的 DGX Cloud
訪問(wèn)讓 AI 加速觸手可及
NVIDIA DGX Cloud 平臺(tái)專為生成式 AI 打造,為開發(fā)者提供輕松訪問(wèn)可靠加速計(jì)算基礎(chǔ)設(shè)施的途徑,幫助他們更快地將生產(chǎn)就緒型應(yīng)用推向市場(chǎng)。
該平臺(tái)提供可擴(kuò)展的 GPU 資源,可為從原型設(shè)計(jì)到生產(chǎn)的每一步 AI 開發(fā)提供支持,同時(shí)無(wú)需開發(fā)者做出長(zhǎng)期的 AI 基礎(chǔ)設(shè)施承諾。
借助由 NIM 微服務(wù)提供支持、在 NVIDIA DGX Cloud 上運(yùn)行的 Hugging Face 推理即服務(wù),用戶可輕松訪問(wèn)針對(duì) AI 部署進(jìn)行優(yōu)化的計(jì)算資源,在企業(yè)級(jí)環(huán)境中實(shí)驗(yàn)最新的 AI 模型。
詳細(xì)了解在 SIGGRAPH 大會(huì)上
發(fā)布的 NVIDIA NIM 相關(guān)信息
在 SIGGRAPH 大會(huì)上,NVIDIA 還推出了面向 OpenUSD 框架的生成式 AI 模型和 NIM 微服務(wù),以加速開發(fā)者構(gòu)建高精度虛擬世界的能力,推動(dòng) AI 再次演進(jìn)。
體驗(yàn)超過(guò) 100 種 NVIDIA NIM 微服務(wù)在各行各業(yè)的應(yīng)用。
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4793瀏覽量
102427 -
AI
+關(guān)注
關(guān)注
87文章
28875瀏覽量
266215 -
人工智能
+關(guān)注
關(guān)注
1787文章
46060瀏覽量
234977 -
微服務(wù)
+關(guān)注
關(guān)注
0文章
126瀏覽量
7303
原文標(biāo)題:SIGGRAPH 2024 | Hugging Face 為開發(fā)者帶來(lái)由 NVIDIA NIM 提供支持的推理即服務(wù)
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論