Oracle 云基礎(chǔ)設(shè)施提供新的 NVIDIA GPU 加速計(jì)算實(shí)例

生成式 AI 和大語言模型（LLM）不斷推動(dòng)突破性創(chuàng)新，訓(xùn)練和推理對(duì)算力的需求也隨之急劇上升。

這些現(xiàn)代生成式 AI 應(yīng)用需要全棧加速計(jì)算，首先要有能夠快速、準(zhǔn)確處理大量工作負(fù)載的先進(jìn)基礎(chǔ)設(shè)施。為了幫助滿足這一需求，Oracle 云基礎(chǔ)設(shè)施（OCI）于近日宣布，在 OCI Compute 上全面提供 NVIDIA H100 Tensor Core GPU，同時(shí) NVIDIA L40S GPU 也即將在 OCI Compute 上推出。

OCI 上的 NVIDIA

H100 Tensor Core GPU 實(shí)例

OCI Compute 裸機(jī)實(shí)例配備了具有NVIDIA Hopper架構(gòu)的 NVIDIA H100 GPU，不僅大幅提升了大規(guī)模 AI 和高性能計(jì)算的性能，也為各種工作負(fù)載提供了前所未有的性能、可擴(kuò)展性和通用性。

相比于NVIDIA A100 Tensor Core GPU，使用 NVIDIA H100 GPU 的企業(yè)可提升 30 倍的 AI 推理性能和 4 倍的 AI 訓(xùn)練性能。H100 GPU 專為資源密集型計(jì)算任務(wù)構(gòu)建，包括訓(xùn)練 LLM 和在運(yùn)行 LLM 的同時(shí)進(jìn)行推理等。

BM.GPU.H100.8 OCI Compute 機(jī)型配置（Shape）包含 8 顆 NVIDIA H100 GPU，每顆都具有 80GB 的 HBM2 GPU 內(nèi)存。8 顆 GPU 之間的 3.2TB/s 雙向帶寬使每顆 GPU 都能通過 NVIDIA NVSwitch 和 NVLink 4.0 技術(shù)與其他 7 顆 GPU 直接通信。該配置還包含 16 塊容量為 3.84TB 的本地 NVMe 硬盤、112 個(gè)內(nèi)核的第四代英特爾至強(qiáng) CPU 處理器以及 2TB 系統(tǒng)內(nèi)存。

簡(jiǎn)而言之，該機(jī)型配置針對(duì)企業(yè)最具挑戰(zhàn)性的工作負(fù)載進(jìn)行了優(yōu)化。

根據(jù)工作負(fù)載的時(shí)間線和規(guī)模，OCI Supercluster 使企業(yè)能夠通過高性能、超低延遲的網(wǎng)絡(luò)，將所使用的 NVIDIA H100 GPU 從單個(gè)節(jié)點(diǎn)擴(kuò)展到多達(dá)數(shù)萬顆 H100 GPU。

OCI 上的 NVIDIA L40S GPU 實(shí)例

NVIDIA 與 OCI：企業(yè)級(jí) AI

如要了解更多信息，歡迎訪問有關(guān) Oracle 云基礎(chǔ)設(shè)施（OCI）、OCI Compute、Oracle 如何邁向 AI 以及 NVIDIA AI Platform 網(wǎng)頁(yè)。

Oracle 云基礎(chǔ)設(shè)施（OCI）：https://www.oracle.com/cloud/

OCI Compute：https://www.oracle.com/cloud/compute/

Oracle 如何邁向 AI：https://www.oracle.com/artificial-intelligence/

NVIDIA AI Platform：https://www.nvidia.cn/ai-data-science/