英偉達(dá) A100 GPU 全面上市，推理性能比 CPU 快 237 倍

根據(jù)英偉達(dá)官方的消息，在 AWS 運(yùn)行 NVIDIA GPU 十周年之際，AWS 發(fā)布了采用全新 A100 的 Amazon EC2 P4d 實(shí)例。

IT之家了解到，現(xiàn)在已全面上市的全新 AWS P4d 實(shí)例采用最新 NVIDIA A100 Tensor Core GPU。A100 計(jì)算卡采用了 7nm 工藝的 GA100 GPU，這款 GPU 擁有 6912 CUDA 核心和 432 張量核心。GPU 封裝尺寸為 826mm2，集成了 540 億個(gè)晶體管。

英偉達(dá)表示，全新的 P4d 實(shí)例，為機(jī)器學(xué)習(xí)訓(xùn)練和高性能計(jì)算應(yīng)用提供 AWS 上性能與成本效益最高的 GPU 平臺(tái)。與默認(rèn)的 FP32 精度相比，全新實(shí)例將 FP16 機(jī)器學(xué)習(xí)模型的訓(xùn)練時(shí)間減少多達(dá) 3 倍，將 TF32 機(jī)器學(xué)習(xí)模型的訓(xùn)練的時(shí)間減少多達(dá) 6 倍。

這些實(shí)例還提供出色的推理性能。NVIDIA A100 GPU 在最近的 MLPerf Inference 基準(zhǔn)測(cè)試中一騎絕塵，實(shí)現(xiàn)了比 CPU 快 237 倍的性能。

每個(gè) P4d 實(shí)例均內(nèi)置八個(gè) NVIDIA A100 GPU，通過 AWS UltraClusters，客戶可以利用 AWS 的 Elastic Fabric Adapter（EFA）和 Amazon FSx 提供的可擴(kuò)展高性能存儲(chǔ)，按需、可擴(kuò)展地同時(shí)訪問多達(dá) 4，000 多個(gè) GPU。P4d 提供 400Gbps 網(wǎng)絡(luò)，通過使用 NVLink、NVSwitch、NCCL 和 GPUDirect RDMA 等 NVIDIA 技術(shù)，進(jìn)一步加速深度學(xué)習(xí)訓(xùn)練的工作負(fù)載。EFA 上的 NVIDIA GPUDirect RDMA 在服務(wù)器之間可通過 GPU 傳輸數(shù)據(jù)，無需通過 CPU 和系統(tǒng)內(nèi)存，從而確保網(wǎng)絡(luò)的低延遲。

責(zé)任編輯：PSY