NVIDIA預(yù)測(cè)：GPU將推動(dòng)AI性能逐步增長(zhǎng)

12月15日，NVIDIA GTC 2020中國(guó)線上大會(huì)上，NVIDIA首席科學(xué)家Bill Dally發(fā)表主題演講，重點(diǎn)介紹了他的團(tuán)隊(duì)在AI研究方面的進(jìn)展，特別強(qiáng)調(diào)了以NVIDIA創(chuàng)始人兼CEO黃仁勛本人命名的“黃氏定律”（Huang‘s Law）。

眾所周知，“摩爾定律”在過(guò)去半個(gè)世紀(jì)推動(dòng)著CPU處理器的飛速發(fā)展，而近些年明顯慢了下來(lái)，GPU則持續(xù)提升，同時(shí)擔(dān)任的角色也越來(lái)越多，尤其是在這個(gè)無(wú)處不AI的世界。

Bill Dally擁有120多項(xiàng)專利，曾任斯坦福大學(xué)計(jì)算機(jī)科學(xué)系主任，2009年加入NVIDIA，負(fù)責(zé)AI、光線追蹤、高速互連領(lǐng)域的相關(guān)研究。

本次大會(huì)上，Bill Dally以三個(gè)項(xiàng)目為例，講述了自己帶領(lǐng)的200人的研究團(tuán)隊(duì)，如何成功實(shí)現(xiàn)“黃氏定律”，并大膽預(yù)測(cè)，GPU將推動(dòng)AI性能每一年都翻一倍。

他說(shuō)：“如果我們真的想提高計(jì)算機(jī)性能，黃氏定律就是一項(xiàng)重要指標(biāo)，且在可預(yù)見(jiàn)的未來(lái)都將一直適用?！?/p>

為實(shí)現(xiàn)這一突破，NVIDIA專門開(kāi)發(fā)了一種名為MAGNet的工具，它生成的AI推理加速器在模擬測(cè)試中能夠達(dá)到100TOPS/W（每瓦特100萬(wàn)億次操作）的推理能力，比目前的商用芯片高出一個(gè)數(shù)量級(jí)。

MAGNet采用了一系列新技術(shù)，協(xié)調(diào)并控制通過(guò)設(shè)備的信息流，最大限度地減少數(shù)據(jù)傳輸，而數(shù)據(jù)傳輸正是當(dāng)今芯片中能耗最大的環(huán)節(jié)。

另外，NVIDIA還研究了更快速的光鏈路，可取代現(xiàn)有系統(tǒng)內(nèi)的電氣鏈路，通過(guò)利用密集波分復(fù)用技術(shù)，有望在僅僅1毫米大小的芯片上，實(shí)現(xiàn)Tb/s級(jí)數(shù)據(jù)的傳輸，是如今互連密度的十倍以上。

Bill Dally還舉例展示了一個(gè)新的NVIDIA DGX系統(tǒng)模型，借助光鏈路可集成160多顆GPU。

本次GTC大會(huì)吸引了眾多行業(yè)領(lǐng)軍企業(yè)與機(jī)構(gòu)參與，包括阿里巴巴、AWS、百度、字節(jié)跳動(dòng)、中國(guó)電信、戴爾科技、滴滴、新華三、浪潮、快手、聯(lián)想、微軟、平安、騰訊、清華大學(xué)、小米。
責(zé)編AJX