NVIDIA助力麗蟾科技打造AI訓練與推理加速解決方案

案例簡介

麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise，為企業(yè)和科研機構(gòu)提供了一套高效、靈活的 AI 訓練與推理加速解決方案。無論是在復雜的 AI 開發(fā)任務中，還是在高并發(fā)推理場景下，都能夠確保項目的順利進行，并顯著提升業(yè)務效率與創(chuàng)新能力。

企業(yè)級 AI 軟件套件

——NVIDIA AI Enterprise

NVIDIA AI Enterprise是 NVIDIA 推出的一套完整的企業(yè)級 AI 軟件套件，專為簡化和加速 AI 開發(fā)與部署設計，幫助用戶在多云環(huán)境、數(shù)據(jù)中心和邊緣設備上高效運行人工智能工作負載。

圖 1. NVIDIA AI Enterprise 端到端云原生軟件平臺

它提供了廣泛的工具集與預訓練模型，涵蓋數(shù)據(jù)準備、模型訓練、推理優(yōu)化等各個環(huán)節(jié)，利用 NVIDIA 的 GPU 硬件加速器，為廣泛的 AI 應用提供強大支持，從而加快企業(yè)和科研機構(gòu)在 AI 領域的創(chuàng)新進程。作為一個全面的 AI 開發(fā)平臺，集成了 NVIDIA 的多種技術，包括CUDA并行計算架構(gòu)、cuDNN深度學習庫、TensorRT推理加速引擎，以及NVIDIA Triton 推理服務器等。此外，NVIDIA AI Enterprise 為用戶提供了豐富的預訓練模型和工具集，支持主流的 AI 框架如 TensorFlow、PyTorch、MXNet 等，確保開發(fā)者可以利用熟悉的工具和框架高效工作。

麗蟾云 Leaper 集成 NVIDIA 軟件堆棧

及計算參考架構(gòu)，提供智算云解決方案

Leaper 是麗蟾科技自主研發(fā)的資源調(diào)度管理平臺，可對 GPU 計算資源進行統(tǒng)一管理和調(diào)度，提供高性能的算力支撐，充分提高資源的利用率，且可為用戶提供高效、靈活的 AI 應用研發(fā)與部署環(huán)境，用戶可以輕松地創(chuàng)建和管理容器化的應用程序。

圖 2.Leaper 主要功能模塊

(本圖來源于麗蟾科技，若您需要使用本圖片或有任何疑問，請聯(lián)系麗蟾科技)

麗蟾科技在智算云管理平臺 Leaper 上深度集成了 NVIDIA AI Enterprise，為用戶提供從數(shù)據(jù)準備、模型訓練到推理部署的全面加速支持，并提供高效的 AI 訓練與推理解決方案，通過與 NVIDIA AI Enterprise 的結(jié)合，用戶可以享受無縫銜接的資源調(diào)度與 AI 加速服務。

圖 3.Leaper 整體解決方案架構(gòu)

(本圖來源于麗蟾科技，若您需要使用本圖片或有任何疑問，請聯(lián)系麗蟾科技)

分布式訓練支持與資源調(diào)度

Leaper 支持在大規(guī)模 GPU 集群環(huán)境下進行分布式訓練，結(jié)合 NVIDIA AI Enterprise 及NVIDIA NCCL優(yōu)化通信庫，確保了大規(guī)模分布式訓練的計算與通信效率，動態(tài)調(diào)度資源確保訓練任務順利進行。

自動混合精度訓練，

FP8 訓練與推理優(yōu)化

NVIDIA AI Enterprise 提供自動混合精度訓練（AMP）功能，結(jié)合 Leaper 平臺可以有效提高計算效率，在保持模型的精度的情況下加速 AI 訓練過程，結(jié)合 NVIDIA Hopper 架構(gòu)的 FP8 精度的計算能力，特別在推理方向，提供更高的推理性能，更低的延時響應，更高效的顯存容量及帶寬的使用效率，最終幫助大模型的推理性價比進一步提升和優(yōu)化。

預訓練模型、AI 算法框架與加速庫

NVIDIA AI Enterprise 提供了豐富的預訓練模型、AI 算法框架與加速庫（如 TensorRT、cuDNN 和 PyTorch），Leaper 集成 NVIDIA AI Enterprise 能夠充分發(fā)揮這些工具的性能，使用戶能夠直接在 Leaper 上快速部署這些模型，加速推理，更快完成訓練任務。

實時監(jiān)控與動態(tài)調(diào)度

通過 Leaper，用戶可以實時監(jiān)控訓練進展，并根據(jù)需求動態(tài)調(diào)整資源調(diào)度，無論是訓練中的資源分配，還是推理中的計算負載，都能確保高效利用 GPU 集群，避免資源浪費。

數(shù)據(jù)預處理加速

NVIDIA AI Enterprise 與RAPIDS框架的結(jié)合，在 GPU 上加速了數(shù)據(jù)預處理和特征工程環(huán)節(jié)。通過 Leaper，用戶可以高效完成數(shù)據(jù)準備，縮短訓練前期的時間成本。

為開發(fā)者打造快速、安全、

高性能的 AI 推理微服務

NVIDIA NIM是 NVIDIA AI Enterprise 的一部分，是一套易于使用的預構(gòu)建容器工具，目的是幫助企業(yè)加速生成式 AI 的部署。它支持各種 AI 模型，可確保利用行業(yè)標準 API 在本地或云端進行無縫、可擴展的 AI 推理。Leaper 已經(jīng)全面整合 NVIDIA NIM，覆蓋了包括語音 AI、數(shù)據(jù)檢索（RAG）、數(shù)字生物學、數(shù)字人、大語言模型（LLM）等領域。在 Leaper上，作為優(yōu)化容器提供，旨在加速各種規(guī)模的企業(yè)的 AI 應用開發(fā)，為 AI 技術的快速生產(chǎn)和部署鋪平道路。

通過 Leaper 內(nèi)的 NVIDIA NIM，AI 開發(fā)者可以：

快速部署 AI 模型：NVIDIA NIM 允許組織利用預訓練的 AI 模型，這些模型已經(jīng)過優(yōu)化，可以快速部署，減少了開發(fā)和訓練新模型所需的時間和成本，在幾分鐘內(nèi)跨各種環(huán)境部署 AI 應用程序，顯著提高了生產(chǎn)力。

簡化 AI 應用創(chuàng)建：通過 Leaper，集成了眾多跨領域的專用微服務，包括 NVIDIA NIM 及定制化的 AI 模型，極大地簡化了創(chuàng)建復雜 AI 應用的過程。無需從頭開始構(gòu)建 AI 模型，從而節(jié)省了寶貴的時間和資源。

跨領域集成：可以跨多個領域集成，例如，結(jié)合語音識別和大語言模型，創(chuàng)建能夠提供個性化客戶服務的數(shù)字人。

加速業(yè)務轉(zhuǎn)型：使用 NVIDIA NIM，團隊可以專注于將預訓練的 AI 模型快速集成到現(xiàn)有的工作流程中，加速業(yè)務運營的數(shù)字化轉(zhuǎn)型。

總體而言，Leaper 提供了經(jīng)過優(yōu)化，可以快速部署的預訓練 AI 模型，也為 AI 從業(yè)者提供了一種快速、靈活且高效的方式來開發(fā)和部署 AI 應用，使他們能夠更快地響應市場變化和客戶需求，從而推動業(yè)務創(chuàng)新和增長。

為企業(yè)與科研機構(gòu)

提供定制化的專業(yè)解決方案

麗蟾科技通過整合 Leaper 與 NVIDIA AI Enterprise，為多個行業(yè)提供了強大的 AI 開發(fā)與推理加速支持。以下是幾個典型的應用場景：

科學研究

在處理大規(guī)模數(shù)據(jù)集的科學研究領域，如天體物理、化學模生物信息學等，Leaper 與 NVIDIA AI Enterprise 的高性能計算資源為科研人員提供了強大的支持，比如，Leaper 結(jié)合 RAPIDS 開源軟件庫，提供了 GPU 加速的數(shù)據(jù)科學工作流，更快地處理大規(guī)模數(shù)據(jù)集，進行科學探索與創(chuàng)新。

醫(yī)療領域

在醫(yī)療圖像分析中，Leaper 與 NVIDIA AI Enterprise 的集成可以為醫(yī)療機構(gòu)提供高效的 AI 模型訓練與推理支持。醫(yī)療科研人員可以在 Leaper 平臺上快速訓練和部署 AI 模型，從而提高疾病診斷的準確性與效率，優(yōu)化治療效果。

能源行業(yè)

能源行業(yè)中的天氣預測需要高效的計算資源。借助 Leaper 和 NVIDIA AI Enterprise 的結(jié)合，能源企業(yè)可以利用 GPU 加速天氣預測模型的訓練與推理，快速部署 AI 模型進行精準天氣預測，優(yōu)化能源分配與生產(chǎn)。

制造業(yè)

制造企業(yè)可以通過 Leaper 平臺快速部署基于 NVIDIA AI Enterprise 的智能檢測系統(tǒng)。NVIDIA AI Enterprise 的預訓練模型和推理加速庫幫助企業(yè)快速開發(fā)高效的質(zhì)量檢測模型，實現(xiàn)對產(chǎn)品質(zhì)量的實時監(jiān)控和分析，從而提高生產(chǎn)線的效率。

零售與電子商務

在零售行業(yè)，AI 技術已經(jīng)廣泛應用于推薦系統(tǒng)、客戶行為分析等方面。通過 Leaper 平臺，零售企業(yè)可以快速構(gòu)建并部署基于 AI 的推薦引擎，從而為客戶提供個性化的購物體驗。NVIDIA AI Enterprise 提供的 AI 加速庫和預訓練模型能夠幫助企業(yè)優(yōu)化其推薦算法，提高客戶轉(zhuǎn)化率。

Leaper 實現(xiàn) AI 訓練與推理加速

上海麗蟾科技有限公司董事長吳敏華表示：“NVIDIA AI Enterprise 是一套端到端的完整的 AI 工具套件，在服務客戶的過程中，我們發(fā)現(xiàn)該套件非常適合運行在云的環(huán)境中，通過麗蟾自研的 Leaper 云平臺，將 NVIDIA 最先進的 AI 能力集成并傳遞給每一位客戶?！?/p>

隨著 AI 技術的不斷發(fā)展，麗蟾科技將繼續(xù)通過這一集成平臺推動更多行業(yè)的技術進步與應用落地。