NVIDIA NeMo加速并簡化自定義模型開發(fā)

如果企業(yè)希望充分發(fā)揮出 AI 的力量，就需要根據(jù)其行業(yè)需求量身定制的自定義模型。

NVIDIA AI Foundry 是一項使企業(yè)能夠使用數(shù)據(jù)、加速計算和軟件工具創(chuàng)建并部署自定義模型的服務(wù)，這些模型將為企業(yè)的生成式 AI 項目提供強力支持。

就像臺積電制造其他公司設(shè)計的芯片一樣，NVIDIA AI Foundry 為其他公司提供基礎(chǔ)設(shè)施和工具，使他們能夠使用 DGX Cloud、基礎(chǔ)模型、NVIDIA NeMo 軟件、NVIDIA 專業(yè)知識以及各種生態(tài)系統(tǒng)工具和支持，開發(fā)和自定義 AI 模型。

關(guān)鍵的區(qū)別在于產(chǎn)品：臺積電生產(chǎn)實體半導(dǎo)體芯片，而 NVIDIA AI Foundry 則幫助創(chuàng)建自定義模型。兩者都在推動創(chuàng)新，并與龐大的工具和合作伙伴生態(tài)系統(tǒng)相連接。

企業(yè)可以使用 AI Foundry 自定義 NVIDIA 模型和開放社區(qū)模型，包括新推出的 Llama 3.1 系列以及 NVIDIA Nemotron、Google DeepMind 的 CodeGemma、CodeLlama、Google DeepMind 的 Gemma、Mistral、Mixtral、Phi-3 和 StarCoder2 等。

行業(yè)領(lǐng)導(dǎo)者推動 AI 創(chuàng)新

行業(yè)領(lǐng)導(dǎo)者 Amdocs、Capital One、Getty Images、KT、現(xiàn)代汽車公司、SAP、ServiceNow 和 Snowflake 是 NVIDIA AI Foundry 的首批企業(yè)用戶。這些領(lǐng)軍企業(yè)正在企業(yè)軟件、技術(shù)、通信和媒體領(lǐng)域開辟一個由 AI 驅(qū)動創(chuàng)新的新時代。

ServiceNow AI 產(chǎn)品副總裁 Jeremy Barnes 表示：“部署 AI 的企業(yè)可以通過融合了行業(yè)和業(yè)務(wù)知識的自定義模型獲得競爭優(yōu)勢。ServiceNow 正在使用 NVIDIA AI Foundry 微調(diào)和部署可以輕松集成到客戶現(xiàn)有的工作流中的模型?！?/p>

NVIDIA AI Foundry 的關(guān)鍵支柱

NVIDIA AI Foundry 的關(guān)鍵支柱包括基礎(chǔ)模型、企業(yè)軟件、加速計算、專家支持和龐大的合作伙伴生態(tài)系統(tǒng)。

這項服務(wù)的軟件包括來自 NVIDIA 和 AI 社區(qū)的 AI 基礎(chǔ)模型，以及能夠加速模型開發(fā)的完整 NVIDIA NeMo 軟件平臺。

NVIDIA AI Foundry 的計算核心是 NVIDIA DGX Cloud，該加速計算資源網(wǎng)絡(luò)由 NVIDIA 與全球公有云領(lǐng)軍企業(yè)亞馬遜云科技、谷歌云和 Oracle Cloud Infrastructure 共同設(shè)計。通過 DGX Cloud，AI Foundry 客戶能夠以前所未有的便捷和效率開發(fā)和微調(diào)自定義生成式 AI 應(yīng)用，并根據(jù)需要擴展他們的 AI 項目，而無需在前期進行大量硬件方面的投入。這種靈活性對于希望在瞬息萬變的市場中保持靈活性的企業(yè)來說至關(guān)重要。

NVIDIA AI Enterprise 專家會在 AI Foundry 客戶需要時提供幫助。NVIDIA 專家可以指導(dǎo)客戶完成使用專有數(shù)據(jù)構(gòu)建、微調(diào)和部署模型所需的各個步驟，確保模型貼合客戶的業(yè)務(wù)需求。

NVIDIA AI Foundry 客戶可以進入到一個全球合作伙伴生態(tài)系統(tǒng)，以獲得全方位的支持。埃森哲、德勤、Infosys、Wipro 等 NVIDIA 合作伙伴將為他們提供 AI Foundry 咨詢服務(wù)，涵蓋設(shè)計、實施和管理 AI 驅(qū)動的數(shù)字化轉(zhuǎn)型項目。埃森哲率先推出了基于 AI Foundry 的自定義模型開發(fā)產(chǎn)品——Accenture AI Refinery 框架。

另外，Data Monsters、Quantiphi、Slalom 和 SoftServe 等服務(wù)交付合作伙伴幫助企業(yè)解決將 AI 集成到現(xiàn)有 IT 環(huán)境中所遇到的復(fù)雜問題，確保 AI 應(yīng)用的可擴展性、安全性和與業(yè)務(wù)目標(biāo)的吻合性。

Cleanlab、DataDog、Dataiku、Dataloop、DataRobot、Domino Data Lab、Fiddler AI、New Relic、Scale、Weights & Biases 等 NVIDIA 合作伙伴還為客戶提供用于開發(fā)生產(chǎn)級 NVIDIA AI Foundry 模型的 AIOps 和 MLOps 平臺。

客戶可以將其 AI Foundry 模型導(dǎo)出為 NVIDIA NIM 推理微服務(wù)（包括自定義模型、優(yōu)化引擎和標(biāo)準 API），以便在其選擇的加速基礎(chǔ)設(shè)施上運行。

像 NVIDIA TensorRT-LLM 這樣的推理解決方案為 Llama 3.1 模型提供了更高的效率，以最大限度地減少延遲和最大限度地提高吞吐量。這使企業(yè)能夠更快地生成 token，同時降低在生產(chǎn)中運行模型的總成本。企業(yè)級的支持和安全性由 NVIDIA AI Enterprise 軟件套件提供。

NVIDIA NIM 和 TensorRT-LLM 最大限度地減少了 Llama 3.1 模型的推理延遲并最大限度地提高了吞吐量，從而更快地生成 token。

它們可部署在多種基礎(chǔ)設(shè)施上，包括思科、戴爾科技、慧與、聯(lián)想、超微等全球服務(wù)器制造合作伙伴的 NVIDIA 認證系統(tǒng)以及亞馬遜云科技、谷歌云和 Oracle Cloud 的云實例。

此外，領(lǐng)先的 AI 加速云平臺 Together AI 宣布，將讓其擁有超過 10 萬名開發(fā)者和企業(yè)的生態(tài)系統(tǒng)能夠使用 NVIDIA GPU 加速推理堆棧，在 DGX Cloud 上部署 Llama 3.1 端點和其他開放模型。Together AI 創(chuàng)始人兼首席執(zhí)行官 Vipul Ved Prakash 表示：“每個運行生成式 AI 應(yīng)用程序的企業(yè)都希望獲得更快的用戶體驗，使效率更高，成本更低。現(xiàn)在，使用 Together Inference Engine 的開發(fā)者和企業(yè)可以在 NVIDIA DGX Cloud 上最大化其性能、可擴展性和安全性?！?/p>

NVIDIA NeMo 加速并簡化

自定義模型開發(fā)

通過集成在 AI Foundry 中的 NVIDIA NeMo，開發(fā)者可以隨時使用所需的工具來整理數(shù)據(jù)、自定義基礎(chǔ)模型和評估性能。NeMo 將提供以下技術(shù)：

NeMo Curator：一個由 GPU 提供加速的數(shù)據(jù)管理庫，通過為預(yù)訓(xùn)練和微調(diào)準備大規(guī)模、高質(zhì)量的數(shù)據(jù)集，提高生成式 AI 模型的性能。

NeMo Customizer：一項高性能且可擴展的微服務(wù)，可簡化針對特定領(lǐng)域用例的 LLM 微調(diào)和對齊。

NeMo Evaluator：可在任何加速云或數(shù)據(jù)中心上，使用各種學(xué)術(shù)和自定義基準測試對生成式 AI 模型進行自動評估。

NeMo Guardrails：能夠編排對話管理，通過大語言模型提高智能應(yīng)用的準確性、適當(dāng)性和安全性，為生成式 AI 應(yīng)用提供保障。

借助 NVIDIA AI Foundry 中的 NeMo 平臺，企業(yè)能夠創(chuàng)建出精準滿足其需求的自定義 AI 模型。這種定制化與戰(zhàn)略目標(biāo)更加吻合，提高了決策的準確性以及運營的效率。例如企業(yè)可以開發(fā)出理解行業(yè)術(shù)語、符合監(jiān)管要求并與現(xiàn)有工作流無縫集成的模型。

SAP 首席人工智能官 Philipp Herzig 表示：“作為我們合作的下一步，SAP 計劃使用 NVIDIA 的 NeMo 平臺，來幫助企業(yè)去加速由 SAP Business AI 驅(qū)動的 AI 生產(chǎn)力?！?/p>

企業(yè)可以通過 NVIDIA NeMo Retriever NIM 推理微服務(wù)將其自定義 AI 模型部署到生產(chǎn)中。它們可以幫助開發(fā)者獲取專有數(shù)據(jù)，然后通過檢索增強生成（RAG）為其 AI 應(yīng)用生成知識淵博的回答。

Snowflake AI 主管 Baris Gultekin 表示：“安全、可信的 AI 是企業(yè)充分利用生成式 AI 的必要前提，而檢索的準確性直接影響到 RAG 系統(tǒng)中生成的回答的相關(guān)性和質(zhì)量。通過 NVIDIA AI Foundry 中的 NeMo Retriever 組件，Snowflake Cortex AI 可以使用企業(yè)的自定義數(shù)據(jù)，進一步為企業(yè)提供簡單、高效和可信的回答?！?/p>

自定義模型為企業(yè)帶來競爭優(yōu)勢

NVIDIA AI Foundry 的一大優(yōu)勢是能夠解決企業(yè)在采用 AI 時所面臨的獨特挑戰(zhàn)。通用 AI 模型可能無法滿足特定的業(yè)務(wù)需求和數(shù)據(jù)安全要求，而自定義 AI 模型則具有出色的靈活性、適應(yīng)性和性能，是企業(yè)獲得競爭優(yōu)勢的理想途徑。