了解ChatGPT背后的芯片

來(lái)源：內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自allaboutcircuits

ChatGPT 等生成式人工智能工具對(duì)社會(huì)眾多領(lǐng)域產(chǎn)生了巨大影響。作為工程師，了解使之成為可能的計(jì)算技術(shù)對(duì)我們很有幫助。近年來(lái)，隨著新技術(shù)以前所未有的速度出現(xiàn)，人工智能取得了重大飛躍。毫無(wú)疑問(wèn)，ChatGPT、Bard 和 Einstein 等工具將影響各個(gè)行業(yè)——從媒體和內(nèi)容創(chuàng)建到研究、金融等。這些工具現(xiàn)在可以密切模擬人類對(duì)話，能夠理解上下文信息、實(shí)時(shí)對(duì)話，并以極高的精度執(zhí)行從翻譯到總結(jié)的任務(wù)。OpenAI 表示，為了了解這些 AI 技術(shù)的進(jìn)步速度，“最大規(guī)模的 AI 訓(xùn)練運(yùn)行所使用的計(jì)算量呈指數(shù)級(jí)增長(zhǎng)，是 3.4 個(gè)月的兩倍” ?；仡?80 年代和 90 年代，神經(jīng)網(wǎng)絡(luò)研究活動(dòng)非?；钴S，訓(xùn)練引擎的計(jì)算和內(nèi)存與今天的能力相比非常弱。時(shí)間快進(jìn)到 2012 年，摩爾定律的不斷發(fā)展使人工智能能夠有效地執(zhí)行分類——識(shí)別圖片和視頻中的對(duì)象。與此同時(shí)，自然語(yǔ)言處理（NLP）的發(fā)展也至關(guān)重要。

圖：此處顯示的是 2012 年至 2018 年期間用于訓(xùn)練選定結(jié)果的計(jì)算總量（以 petaflop/s 天為單位）

隨著 Siri 等工具開(kāi)始興起，并隨著這些應(yīng)用程序慢慢發(fā)展和演變，顯然下一步就是讓它們生成。一旦這些訓(xùn)練算法能夠快速分類信息、在數(shù)據(jù)之間建立關(guān)聯(lián)并理解所提出的請(qǐng)求，問(wèn)題就變成了它們是否可以利用這些學(xué)習(xí)成果以可識(shí)別的方式有效地組裝新內(nèi)容。得益于半導(dǎo)體行業(yè)在 HBM（高帶寬內(nèi)存）、DDR、異構(gòu)計(jì)算等方面的進(jìn)步，隨著我們進(jìn)入生成式 AI 新時(shí)代的開(kāi)始，這已成為現(xiàn)實(shí)。

硬件如何讓我們走到這一步生成式人工智能的訓(xùn)練和應(yīng)用非常復(fù)雜，需要使用先進(jìn)的學(xué)習(xí)模型和海量數(shù)據(jù)處理需求。當(dāng)我們今天熟悉的生成式人工智能應(yīng)用程序達(dá)到剛剛起步的階段時(shí)，計(jì)算（尤其是主內(nèi)存）的進(jìn)步是不可或缺的。尤其是過(guò)去十年，由于 DDR DIMM 芯片組和 HBM 接口以及特定領(lǐng)域計(jì)算架構(gòu)的代際升級(jí)，人工智能訓(xùn)練和推理能力取得了巨大進(jìn)步。這些都在生成式人工智能開(kāi)發(fā)中發(fā)揮了關(guān)鍵作用，有助于提高速度、容量和連接性，以滿足日益苛刻的工作負(fù)載。用于通過(guò)生成式人工智能創(chuàng)建新圖像、音頻和文本的機(jī)器學(xué)習(xí)算法需要大量數(shù)據(jù)和快速內(nèi)存才能有效運(yùn)行。DDR5是 DDR 內(nèi)存的最新標(biāo)準(zhǔn)，可提供更高的數(shù)據(jù)傳輸速率和更低的功耗，與前幾代產(chǎn)品相比，可以在低延遲的情況下實(shí)現(xiàn)更高效的數(shù)據(jù)處理。

轉(zhuǎn)向異構(gòu)計(jì)算服務(wù)器本身也開(kāi)始轉(zhuǎn)向異構(gòu)計(jì)算架構(gòu)，因?yàn)樵絹?lái)越多地使用專用加速器來(lái)卸載 CPU 上的專用工作負(fù)載。一個(gè)示例異構(gòu)計(jì)算系統(tǒng)由 CPU、AI 加速器和網(wǎng)絡(luò)處理器組成。它們各自可以執(zhí)行不同類型的計(jì)算，以實(shí)現(xiàn)生成式人工智能，因?yàn)閺?fù)雜的計(jì)算可以在專用處理單元上更快地執(zhí)行。例如，CPU 將用于通用處理任務(wù)，并且可以將某些任務(wù)卸載到人工智能加速器等專用處理器。AI加速器可以加速?gòu)埩窟\(yùn)算，提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理的速度。網(wǎng)絡(luò)處理器可以提高數(shù)據(jù)通過(guò)網(wǎng)絡(luò)移動(dòng)到服務(wù)器中的CPU和AI加速器的速度。通過(guò)利用每個(gè)處理單元的優(yōu)勢(shì)，生成式人工智能可以以更高的效率提供高質(zhì)量的數(shù)據(jù)。處理器和 CXL 等新標(biāo)準(zhǔn)促進(jìn)的內(nèi)存緩存一致性在這方面也發(fā)揮著關(guān)鍵作用，因?yàn)樗С?CPU 和加速器之間的內(nèi)存資源共享。

加速人工智能訓(xùn)練這些處理器極大地加快了人工智能訓(xùn)練和推理的速度，降低了總擁有成本并實(shí)現(xiàn)了更大的可擴(kuò)展性。總而言之，這使得研究人員能夠超越分類而進(jìn)入內(nèi)容生成本身。這些改進(jìn)對(duì)這些模型學(xué)習(xí)速度的影響所產(chǎn)生的累積效應(yīng)如今已顯而易見(jiàn)。就在過(guò)去的幾個(gè)月里，我們看到 ChatGPT 取得了突飛猛進(jìn)的進(jìn)步。根據(jù)ABA Journal 的一篇文章，這項(xiàng)曾經(jīng)在 2022 年 11 月進(jìn)行試驗(yàn)的新技術(shù)現(xiàn)在已經(jīng)足以在幾個(gè)月后通過(guò)律師考試，排名前 10% 。雖然當(dāng)前的能力展示了人工智能令人印象深刻的潛力，但它們僅僅觸及了未來(lái)可以實(shí)現(xiàn)的目標(biāo)的表面。當(dāng)我們開(kāi)始考慮這些技術(shù)如何徹底改變我們的溝通和開(kāi)展業(yè)務(wù)的方式時(shí)，一個(gè)新的問(wèn)題出現(xiàn)了：生成人工智能的下一個(gè)可能階段是什么？

半導(dǎo)體和 ChatGPT 的下一階段ChatGPT 和類似工具的發(fā)展速度如此之快，更先進(jìn)的功能將很快進(jìn)入主流。人工智能將超越文本和語(yǔ)音輸入，并有可能在新的未來(lái)包含解釋情感和細(xì)微差別等新功能。這將改變客戶服務(wù)、娛樂(lè)、游戲和更多行業(yè)的游戲規(guī)則，但我們?nèi)绾螌?shí)現(xiàn)這一目標(biāo)？硬件的快速發(fā)展表明，行業(yè)很快就達(dá)到了現(xiàn)有硬件的極限。為了繼續(xù)推動(dòng)人工智能向前發(fā)展，為生成式人工智能提供動(dòng)力的硬件必須具有更先進(jìn)的計(jì)算能力以及更高帶寬的內(nèi)存互連和存儲(chǔ)。這將需要半導(dǎo)體行業(yè)的快節(jié)奏創(chuàng)新，以及解決內(nèi)存和處理之間瓶頸的承諾和協(xié)調(diào)努力。

一個(gè)全方位的行業(yè)隨著新需求的出現(xiàn)，繼續(xù)以目前的速度前進(jìn)將具有挑戰(zhàn)性。值得慶幸的是，業(yè)界正在“全力以赴”推動(dòng)內(nèi)存的改進(jìn)，內(nèi)存一直在支持計(jì)算范式的開(kāi)發(fā)中發(fā)揮著重要作用。如果沒(méi)有半導(dǎo)體行業(yè)生產(chǎn)更快的芯片和互連的能力，在過(guò)去 11 年里，最大規(guī)模的 AI 訓(xùn)練運(yùn)行所使用的計(jì)算量不會(huì)增長(zhǎng) 300,000 倍。即將出現(xiàn)的新技術(shù)展示了業(yè)界在推進(jìn)內(nèi)存技術(shù)和探索新架構(gòu)以繼續(xù)改進(jìn)人工智能方面的投資。