NVIDIA A100登陸AWS，開啟加速云計算的下一個十年

在AWS運行NVIDIA GPU十周年之際，AWS發(fā)布了采用全新A100的Amazon EC2 P4d實例

十年前，AWS（Amazon Web Services）發(fā)布了首個采用NVIDIA M2050 GPU的實例。當(dāng)時，基于CUDA的應(yīng)用主要專注于加速科學(xué)模擬，AI和深度學(xué)習(xí)還遙遙無期。

自那時起，AW就不斷擴(kuò)充云端GPU實例陣容，包括K80（p2）、K520（g3）、M60（g4）、V100（p3 / p3dn）和T4（g4）。

現(xiàn)在，已全面上市的全新AWS P4d實例采用最新NVIDIA A100 Tensor Core GPU，開啟了加速計算的下一個十年。

全新的P4d實例，為機(jī)器學(xué)習(xí)訓(xùn)練和高性能計算應(yīng)用提供AWS上性能與成本效益最高的GPU平臺。與默認(rèn)的FP32精度相比，全新實例將FP16機(jī)器學(xué)習(xí)模型的訓(xùn)練時間減少多達(dá)3倍，將TF32機(jī)器學(xué)習(xí)模型的訓(xùn)練的時間減少多達(dá)6倍。

這些實例還提供出色的推理性能。NVIDIA A100 GPU在最近的MLPerf Inference基準(zhǔn)測試中一騎絕塵，實現(xiàn)了比CPU快237倍的性能。

每個P4d實例均內(nèi)置八個NVIDIA A100 GPU，通過AWS UltraClusters，客戶可以利用AWS的Elastic Fabric Adapter（EFA）和Amazon FSx提供的可擴(kuò)展高性能存儲，按需、可擴(kuò)展地同時訪問多達(dá)4，000多個GPU。P4d提供400Gbps網(wǎng)絡(luò)，通過使用NVLink、NVSwitch、NCCL和GPUDirect RDMA等NVIDIA技術(shù)，進(jìn)一步加速深度學(xué)習(xí)訓(xùn)練的工作負(fù)載。EFA上的NVIDIA GPUDirect RDMA在服務(wù)器之間可通過GPU傳輸數(shù)據(jù)，無需通過CPU和系統(tǒng)內(nèi)存，從而確保網(wǎng)絡(luò)的低延遲。

此外，許多AWS服務(wù)都支持P4d實例，包括Amazon Elastic Container Services、Amazon Elastic Kubernetes Service、AWS ParallelCluster和Amazon SageMaker。P4d還可使用所有NGC提供的經(jīng)過優(yōu)化的容器化軟件，包括HPC應(yīng)用、AI框架、預(yù)訓(xùn)練模型、Helm圖表以及TensorRT和Triton Inference Server等推理軟件。

目前，P4d實例已在美國東部和西部上市，并將很快擴(kuò)展到其他地區(qū)。用戶可以通過按需實例（On-Demand）、Savings Plans、預(yù)留實例（Reserved Instances）或競價型實例（Spot Instances）幾種不同的方式進(jìn)行購買。

GPU云計算發(fā)展最初的十年，已為市場帶來超過100 exaflops的AI計算。隨著基于NVIDIA A100 GPU的Amazon EC2 P4d實例的問世，GPU云計算的下一個十年將迎來一個美好的開端。

NVIDIA和AWS不斷幫助各種應(yīng)用突破AI的界限，以便了解客戶將如何運用AI強大的性能。