聚焦黃氏定律：NVIDIA 首席科學家 Bill Dally 介紹推動 GPU 性能提升的關(guān)鍵因素

在近期舉行的處理器和系統(tǒng)工程師年度盛會Hot Chips上，NVIDIA 首席科學家 Bill Dally 發(fā)表了主題演講。在演講中，其描述了后摩爾定律時代計算機性能正在發(fā)生結(jié)構(gòu)性的變化。

點擊觀看 Bill Dally 在 Hot Chips 主題演講完整視頻

他表示，每一款新處理器都具備獨創(chuàng)性，需要經(jīng)過不懈的努力，發(fā)明并驗證新的電子元件。這與上一代產(chǎn)品的開發(fā)截然不同，當時的工程師主要依賴于芯片更小、更快的物理特性。

Dally 在 NVIDIA Research 領(lǐng)導著一支 300 多人的團隊，過去十年間他們將單個 GPU 的 AI 推理性能提高了 1000 倍（詳見下圖）。

IEEE Spectrum 最先以 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的名字將這一驚人的性能提升命名為 "黃氏定律（Huang’s Law） "，后來《華爾街日報》的一篇專欄文章又讓該定律廣為流傳。

這樣的飆升速度是對以同樣驚人的速度崛起的大語言模型的回應，該模型用于生成式 AI，并且每年都以數(shù)量級的速度增長。

Dally 說："這為硬件行業(yè)的發(fā)展設定了步調(diào)，因為我們必須滿足這種需求。”

在演講中，Dally 詳細介紹了推動性能提升 1000 倍的要素。

其中，提升幅度最大的一次達到了 16 倍，這源于人們找到了更簡單的方法來表示計算機運算使用的數(shù)字。

新的運算方法

最新的 NVIDIA Hopper 架構(gòu)及其 Transformer 引擎采用 8 位和 16 位浮點與整數(shù)運算的動態(tài)組合。這種運算方法專為滿足當今生成式 AI 模型的需求而量身定制。Dally 詳細介紹了該運算方法帶來的性能提升和節(jié)能效果。

Dally 領(lǐng)導的團隊通過編寫高級指令，指導 GPU 組織工作，實現(xiàn)了 12.5 倍的性能提升。這些復雜的指令有助于以更低的能耗做更多的工作。

因此，計算機就可以像“專用加速器一樣高效，同時保留 GPU 的所有可編程性”，Dally 介紹道。

此外，NVIDIA Ampere 架構(gòu)還增加了結(jié)構(gòu)化稀疏功能，這種創(chuàng)新方法可以在不影響模型精度的前提下簡化了 AI 模型的權(quán)重。Dally 表示，這項技術(shù)將性能提高了兩倍，并且未來有望實現(xiàn)更大的性能提升。

Dally 還介紹了可實現(xiàn) GPU 之間高速互聯(lián)的 NVLink 以及用于系統(tǒng)間的 NVIDIA 網(wǎng)絡如何使單個 GPU 的性能提高 1000 倍。

進步之路不止步

Dally 指出，盡管 NVIDIA 在過去十年里將 GPU 的半導體節(jié)點從 28 納米推進到 5 納米，但這種技術(shù)僅僅貢獻了性能提升總量的 2.5 倍。

與摩爾定律下的前一代計算機設計相比，這是巨大的轉(zhuǎn)變。摩爾定律認為，隨著芯片變得越來越小、越來越快，處理器的性能每隔兩年翻一倍。

登納德縮放比例定律（Dennard scaling）在某種程度上對此進行了描述。該定律由 IBM 科學家 Robert Denard 在 1974 年與人合著的一篇論文中提出。但遺憾的是，物理微縮遇到了自然限制，例如更小、更快的器件所能承受的熱量。

前景樂觀

Dally 表示，盡管摩爾定律提出的性能提升在放緩，但黃氏定律仍將繼續(xù)存在，他對此充滿信心。

例如，他概括介紹了未來的幾個機會，包括進一步簡化數(shù)字表示方式、在 AI 模型中創(chuàng)建更多稀疏性以及設計更優(yōu)的內(nèi)存和通信電路。

因為每一代新的芯片和系統(tǒng)都需要新的創(chuàng)新，所以這是屬于計算機工程師的美好時代，Dally 補充說。

Dally 相信，計算機設計領(lǐng)域的新動態(tài)為 NVIDIA 工程師們提供了他們最渴望的三個機會：成為致勝團隊的一員、與聰明人共事以及從事有影響力的設計。