NVIDIA GPU曾于去年12月和今年7月兩度樹立了數(shù)據(jù)中心神經(jīng)網(wǎng)絡(luò)訓(xùn)練的性能標(biāo)桿。今天發(fā)布的行業(yè)基準(zhǔn)測試結(jié)果顯示,NVIDIA也引領(lǐng)著數(shù)據(jù)中心內(nèi)部與外部AI網(wǎng)絡(luò)的趨勢。
NVIDIA Turing GPU和Xavier芯片系統(tǒng)在首個(gè)獨(dú)立AI推理基準(zhǔn)測試 ——MLPerf Inference 0.5中取得第一名。由于推理一直是AI市場中最大、同時(shí)也是最具競爭力的領(lǐng)域,業(yè)內(nèi)此前一直希望能夠有一套客觀的推理性能測試指標(biāo)。
在參與此次測試的十二家公司中,只有NVIDIA AI平臺(tái)提交了MLPerf的全部五項(xiàng)推理測試成績(MLPerf是一個(gè)于2018年5月成立的行業(yè)基準(zhǔn)測試小組)。這證明了NVIDIA CUDA-X AI和TensorRT軟件的成熟程度。它們讓用戶能夠更加輕松地將所有的NVIDIA GPU應(yīng)用于數(shù)據(jù)中心、邊緣等領(lǐng)域。
MLPerf定義了五項(xiàng)推理基準(zhǔn),涵蓋了三個(gè)現(xiàn)有的人工智能應(yīng)用:圖像分類、目標(biāo)檢測和翻譯。每項(xiàng)基準(zhǔn)分為四個(gè)場景:與數(shù)據(jù)中心應(yīng)用關(guān)聯(lián)性最高的服務(wù)器和離線場景,以及用于滿足邊緣設(shè)備地芯片系統(tǒng)需求的單流和多流場景。
圖1:NVIDIA在兩個(gè)數(shù)據(jù)中心場景(離線和服務(wù)器)的全部五項(xiàng)基準(zhǔn)測試中均排在第一位,Turing GPU被評為市面上單處理器性能最高的GPU。
圖2:NVIDIA Turing在MLPerf數(shù)據(jù)中心場景中的成績超過了其他市面上的處理器。
離線場景中具有代表性的場景有圖像標(biāo)記等,該場景下所有數(shù)據(jù)可在本地使用;而服務(wù)器場景代表性場景有在線翻譯服務(wù)等,此場景下會(huì)突然或間歇性隨機(jī)出現(xiàn)數(shù)據(jù)和請求工作。
Xavier在兩個(gè)邊緣場景(單流和多流)中被評為市面上性能最佳的邊緣和移動(dòng)芯片系統(tǒng)。
工業(yè)檢測相機(jī)主要被用來在快速移動(dòng)的生產(chǎn)線上發(fā)現(xiàn)不合格品,這是一種典型的單流任務(wù)。多流場景則是測試芯片能夠處理多少個(gè)數(shù)據(jù)源 —— 該性能對于一輛可能需要使用6臺(tái)以上攝像機(jī)的自動(dòng)駕駛汽車而言,是一項(xiàng)關(guān)鍵的能力。
圖3:NVIDIA Xavier在MLPerf邊緣場景中成為市面上最佳的邊緣和移動(dòng)芯片系統(tǒng)。
該結(jié)果顯示了NVIDIA CUDA和TensorRT軟件的性能。它們?yōu)橛脩籼峁┝艘粋€(gè)通用平臺(tái),使用戶可以在多個(gè)產(chǎn)品和應(yīng)用中取得領(lǐng)先結(jié)果,而這正是NVIDIA所獨(dú)有的能力。
在數(shù)據(jù)中心場景中,NVIDIA的兩款GPU還出現(xiàn)了相互競爭的場面。NVIDIA TITAN RTX展示了Turing級 GPU的巨大潛力,尤其是在各種要求苛刻的任務(wù)中,比如運(yùn)行用于語言翻譯的GNMT模型等。
功能豐富、應(yīng)用廣泛的NVIDIA T4 Tensor Core GPU在多個(gè)場景取得了優(yōu)秀的成績。這個(gè)功耗僅為70瓦的GPU能夠輕松安裝到任何帶有PCIe槽的服務(wù)器中,使用戶能夠根據(jù)需要擴(kuò)展其計(jì)算力,進(jìn)而大幅擴(kuò)展其推理工作。
MLPerf已經(jīng)獲得行業(yè)和學(xué)術(shù)界的廣泛支持。其成員包括Arm、Facebook、Futurewei、通用汽車、Google、哈佛大學(xué)、Intel、MediaTek、微軟、NVIDIA及Xilinx。值得一提的是,相比于之前的兩次訓(xùn)練比賽,此次基準(zhǔn)測試吸引了更多的參與者。
NVIDIA此次共采用了三款產(chǎn)品,共計(jì)四種配置參加此次測試,并提交了全部20個(gè)場景中的19個(gè)場景的成績,以此表明公司對這項(xiàng)工作的支持。NVIDIA的合作伙伴Dell EMC,以及NVIDIA的客戶阿里巴巴同樣使用NVIDIA GPU提交了成績。相比于其他參與者,NVIDIA與合作伙伴和客戶一同向用戶全面地展示了NVIDIA產(chǎn)品組合的潛力。
全新的視角與產(chǎn)品
推理指的是在實(shí)時(shí)生產(chǎn)系統(tǒng)中,通過運(yùn)行AI模型,從大量數(shù)據(jù)中篩選出可執(zhí)行洞察的過程。這是一項(xiàng)仍處于發(fā)展中的新興技術(shù),而NVIDIA也在該領(lǐng)域中不斷前進(jìn),未曾停止腳步。今天,NVIDIA發(fā)布了用于MLPerf測試的Xavier芯片系統(tǒng)低功耗版本——Jetson Xavier NX,其最大功率僅為15瓦,卻具有最高21 TOPS的性能。它將為那些對性能要求高、但功率有限的新一代機(jī)器人、無人機(jī)和其他自主設(shè)備提供驅(qū)動(dòng)力。
除了新的硬件之外,NVIDIA還發(fā)布了在MLPerf基準(zhǔn)測試中所使用的最新TensorRT 6優(yōu)化,并在GitHub上以開源方式為用戶提供該軟件。用戶可以在MLPerf 開發(fā)者博客中了解更多關(guān)于這些優(yōu)化的信息。NVIDIA不斷地對該軟件進(jìn)行升級,使用戶可以從日益增加的AI自動(dòng)化與性能中獲益。
讓推理變得更簡單
今天的MLPerf測試還說明了一個(gè)結(jié)論,那就是推理很困難。例如,在實(shí)際工作負(fù)載中,由于推理還需要大量預(yù)處理和后處理步驟,那么在實(shí)際工作負(fù)載中其對推理性能的需求甚至比基準(zhǔn)測試更高。NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在去年GTC大會(huì)的主題演講中就曾將這種復(fù)雜性概括為一個(gè)詞:PLASTER。他表示,現(xiàn)代AI推理對可編程性(Programmability)、延遲性(Latency)、準(zhǔn)確性(Accuracy)、模型大小(Accuracy)、吞吐量(Throughput)、能效(Energy efficiency)和學(xué)習(xí)率(Rate of Learning)的要求很高。
這就是為何用戶越來越喜歡使用高性能的NVIDIA GPU和軟件來處理各種要求苛刻的推理工作,其中就包括:BMW、Capital One、思科、Expedia、John Deere、微軟、PayPal、Pinterest、寶潔、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃爾瑪?shù)葮O具遠(yuǎn)見的公司。
本周,全球最大的郵政服務(wù)系統(tǒng)——美國郵政,也加入了此行列,使用NVIDIA GPU進(jìn)行AI訓(xùn)練和推理。
硬盤制造商希捷希望通過在NVIDIA GPU上運(yùn)行的AI推理將生產(chǎn)量提高10%。該公司預(yù)計(jì),通過提高效率和質(zhì)量,其將獲得高達(dá)300%的投資回報(bào)。
Pinterest依靠NVIDIA GPU訓(xùn)練和評估其識(shí)別模型并對其1750億條Pin貼文執(zhí)行實(shí)時(shí)推理。
Snap使用NVIDIA T4加速器在谷歌云平臺(tái)上執(zhí)行推理。相比于僅采用了CPU的系統(tǒng),這提高了其廣告的效果,同時(shí)降低了成本。
Twitter發(fā)言人就這一趨勢表示:“GPU的使用不僅大大縮短了訓(xùn)練時(shí)間,還讓我們在推理時(shí)能夠?qū)崟r(shí)了解直播視頻,讓我們可以在自己的平臺(tái)上了解各媒體。”
AI會(huì)話:關(guān)于推理
未來,會(huì)話式AI將帶來大量的機(jī)會(huì)以及技術(shù)方面的挑戰(zhàn)。NVIDIA在這一領(lǐng)域同樣是當(dāng)之無愧的領(lǐng)導(dǎo)者。NVIDIA已經(jīng)為會(huì)話式AI服務(wù)提供了經(jīng)過優(yōu)化的參照設(shè)計(jì),比如自動(dòng)語音識(shí)別、文本-語言轉(zhuǎn)換和自然語言理解等。NVIDIA們的BERT、GNMT和Jasper等AI模型開源優(yōu)化幫助開發(fā)者實(shí)現(xiàn)頂尖推理性能。NVIDIA的客戶和合作伙伴中包括有會(huì)話式AI領(lǐng)域的一流公司,比如Kensho、微軟、Nuance、Optum等。
最后要補(bǔ)充的是,MLPerf小組已經(jīng)開始致力于改進(jìn)其當(dāng)前的0.5推理測試。NVIDIA將努力在基準(zhǔn)測試中繼續(xù)發(fā)揮領(lǐng)導(dǎo)作用。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報(bào)投訴
-
gpu
+關(guān)注
關(guān)注
27文章
4590瀏覽量
128137 -
人工智能
+關(guān)注
關(guān)注
1787文章
46060瀏覽量
234958 -
推理
+關(guān)注
關(guān)注
0文章
8瀏覽量
7250
發(fā)布評論請先 登錄
相關(guān)推薦
AI普及給嵌入式設(shè)計(jì)人員帶來新挑戰(zhàn)
探討了人工智能(AI)的普及給嵌入式設(shè)計(jì)人員帶來的新挑戰(zhàn)。在創(chuàng)建“邊緣機(jī)器學(xué)習(xí)(ML)”應(yīng)用時(shí),設(shè)計(jì)人員必須確保其能有效運(yùn)行,同時(shí)最大限度地降低處理器和存儲(chǔ)開銷,以及物聯(lián)網(wǎng)(IoT)設(shè)
發(fā)表于 08-22 14:20
?558次閱讀
NVIDIA攜手Meta推出AI服務(wù),為企業(yè)提供生成式AI服務(wù)
NVIDIA近日宣布了一項(xiàng)重大舉措,正式推出NVIDIA AI Foundry服務(wù)與NVIDIA NIM(NVIDIA Inference
英偉達(dá)推出全新NVIDIA AI Foundry服務(wù)和NVIDIA NIM推理微服務(wù)
NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務(wù)和 NVIDIA NIM 推理微服務(wù),與同樣剛推出的 Llama 3.1
HPE 攜手 NVIDIA 推出 NVIDIA AI Computing by HPE,加速生成式 AI 變革
同發(fā)布“NVIDIA AI Computing by HPE”。 作為極具開創(chuàng)性的一站式“交鑰匙”私有云人工智能(private-cloud AI)解決方案,
NVIDIA推出NVIDIA AI Computing by HPE加速生成式 AI 變革
作為極具開創(chuàng)性的一站式“交鑰匙”私有云人工智能(private-cloud AI)解決方案,NVIDIA AI Computing by HPE 包含了可持續(xù)的加速計(jì)算產(chǎn)品組合以及全生
英偉達(dá)推出AI模型推理服務(wù)NVIDIA NIM
英偉達(dá)近日宣布推出一項(xiàng)革命性的AI模型推理服務(wù)——NVIDIA NIM。這項(xiàng)服務(wù)將極大地簡化AI模型部署過程,為全球的2800萬英偉達(dá)開發(fā)者提供前所未有的便利。
利用NVIDIA組件提升GPU推理的吞吐
本實(shí)踐中,唯品會(huì) AI 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作,結(jié)合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)將
NVIDIA Edify為視覺內(nèi)容提供商帶來3D生成式AI和全新圖像控件
用于視覺生成式 AI 的多模態(tài)架構(gòu) NVIDIA Edify 正在邁入全新維度。
使用NVIDIA Triton推理服務(wù)器來加速AI預(yù)測
這家云計(jì)算巨頭的計(jì)算機(jī)視覺和數(shù)據(jù)科學(xué)服務(wù)使用 NVIDIA Triton 推理服務(wù)器來加速 AI 預(yù)測。
生成式AI帶來的機(jī)遇與挑戰(zhàn)
David Brown指出,生成式AI的發(fā)展帶來了極其廣袤的市場,通過與NVIDIA等合作伙伴的攜手合作,以及自研的Amazon Graviton和Amazon Trainium系列定
NVIDIA 通過企業(yè)級生成式 AI 微服務(wù)為聊天機(jī)器人、AI 助手和摘要工具帶來商業(yè)智能
Cadence、Dropbox、SAP、ServiceNow 率先使用 NVIDIA NeMo Retriever 優(yōu)化語義檢索,實(shí)現(xiàn)準(zhǔn)確的 AI 推理 NVIDIA 今日宣布推出一項(xiàng)
NVIDIA 通過企業(yè)級生成式 AI 微服務(wù) 為聊天機(jī)器人、AI 助手和摘要工具帶來商業(yè)智能
Cadence、Dropbox、SAP、ServiceNow 率先使用 NVIDIA NeMo Retriever 優(yōu)化語義檢索,實(shí)現(xiàn)準(zhǔn)確的 AI 推理 ? ? 亞馬遜云科技 re:Invent
發(fā)表于 11-29 14:37
?207次閱讀
Dropbox 與 NVIDIA 攜手為數(shù)百萬客戶帶來個(gè)性化的生成式 AI
與 NVIDIA 于 17 日宣布開展合作。雙方將借助 AI 的力量為數(shù)百萬 Dropbox 客戶增強(qiáng)其知識(shí)工作,并提高生產(chǎn)力。 此次合作將通過新的個(gè)性化生成式 AI 應(yīng)用進(jìn)一步擴(kuò)展
利用 NVIDIA Jetson 實(shí)現(xiàn)生成式 AI
近日,NVIDIA 發(fā)布了 Jetson 生成式 AI 實(shí)驗(yàn)室(Jetson Generative AI Lab),使開發(fā)者能夠通過 NVIDIA
周四研討會(huì)預(yù)告 | 注冊報(bào)名 NVIDIA AI Inference Day - 大模型推理線上研討會(huì)
由 CSDN 舉辦的 NVIDIA AI Inference Day - 大模型推理線上研討會(huì),將幫助您了解 NVIDIA 開源大型語言模型(LLM)
評論