何為異構(gòu)芯片 協(xié)同異構(gòu)AI芯片的挑戰(zhàn)

進入大模型時代，全社會算力需求被推高到了前所未有的程度。

由于大模型AI對于全社會的重要性，以及各行各業(yè)加快建設(shè)智算中心，也引發(fā)了全社會學(xué)習(xí)異構(gòu)AI芯片的熱潮。

異構(gòu)AI芯片出現(xiàn)的現(xiàn)象

2024年1月，微軟聯(lián)合創(chuàng)始人比爾·蓋茨與OpenAI首席執(zhí)行官山姆·奧特曼進行了一次對話，奧特曼在對話中表示人工智能將引發(fā)人類歷史上“最快”的一次技術(shù)革命，人類可能還沒有準(zhǔn)備好以多快的速度適應(yīng)這種變革。

奧特曼預(yù)計，這項技術(shù)將迅速發(fā)展，使系統(tǒng)的計算能力達(dá)到GPT-4的10萬倍或100萬倍。

簡單來說，用于人工智能計算的英偉達(dá)GPU芯片遠(yuǎn)遠(yuǎn)不夠用了。

而為應(yīng)對GPU全球供應(yīng)短缺問題，以及美國對GPU的出口限制問題，當(dāng)然更重要的是在AI場景下降低成本，于是市場上涌現(xiàn)了各類異構(gòu)AI芯片。

何為異構(gòu)芯片

異構(gòu)芯片即結(jié)合兩種或多種不同類型的處理器或控制器架構(gòu)的芯片。

異構(gòu)芯片可以是CPU+FPGA，CPU+GPU也可以是CPU+AI，也可以是CPU+動態(tài)可重構(gòu)等不同架構(gòu)，這些架構(gòu)都是利用一種架構(gòu)的優(yōu)勢來彌補另外一種架構(gòu)的不足，以適應(yīng)用戶多種用途的應(yīng)用需求。

Intel的CPU+Altera的FPGA或者AMD的Instinct MI300和英偉達(dá)的Grace Hopper超級芯片也是采用“CPU+GPU”的異構(gòu)形式。

CPU+GPU架構(gòu)的優(yōu)勢

CPU和GPU協(xié)同工作時，CPU包含幾個專為串行處理而優(yōu)化的核心，GPU則由數(shù)以千計更小、更節(jié)能的核心組成，這些核心專為提供強勁的并行運算性能而設(shè)計。

程序的串行部分在CPU上運行，而并行部分則在GPU上運行。

GPU目前已經(jīng)發(fā)展到成熟階段，可輕松執(zhí)行現(xiàn)實生活中的各種應(yīng)用程序，而且程序運行速度已遠(yuǎn)遠(yuǎn)超過使用多核系統(tǒng)時的情形。

因此，CPU和GPU的結(jié)合剛好可以解決深度學(xué)習(xí)模型訓(xùn)練在CPU上耗時長的問題，提升深度學(xué)習(xí)模型的訓(xùn)練效率。

CPU與GPU的應(yīng)用場景也不斷拓寬

隨著CPU與GPU的結(jié)合，其相較于單獨CPU與GPU的應(yīng)用場景也不斷拓寬。

CPU+GPU架構(gòu)適用于處理高性能計算。伴隨著高性能計算類應(yīng)用的發(fā)展，驅(qū)動算力需求不斷攀升，但目前單一計算類型和架構(gòu)的處理器已經(jīng)無法處理更復(fù)雜、更多樣的數(shù)據(jù)。

數(shù)據(jù)中心如何在增強算力和性能的同時，具備應(yīng)對多類型任務(wù)的處理能力，成為全球性的技術(shù)難題。

CPU+GPU的異構(gòu)并行計算架構(gòu)作為高性能計算的一種主流解決方案，受到廣泛關(guān)注。

CPU+GPU架構(gòu)適用于處理數(shù)據(jù)中心產(chǎn)生的海量數(shù)據(jù)。數(shù)據(jù)爆炸時代來臨，使用單一架構(gòu)來處理數(shù)據(jù)的時代已經(jīng)過去。

比如：個人互聯(lián)網(wǎng)用戶每天產(chǎn)生約1GB數(shù)據(jù)，智能汽車每天約50GB，智能醫(yī)院每天約3TB數(shù)據(jù)，智慧城市每天約50PB數(shù)據(jù)。

數(shù)據(jù)的數(shù)量和多樣性以及數(shù)據(jù)處理的地點、時間和方式也在迅速變化。無論工作任務(wù)是在邊緣還是在云中，不管是人工智能工作任務(wù)還是存儲工作任務(wù)，都需要有正確的架構(gòu)和軟件來充分利用這些特點。

CPU+GPU架構(gòu)可以共享內(nèi)存空間，消除冗余內(nèi)存副本來改善問題。

在此前的技術(shù)中，雖然GPU和CPU已整合到同一個芯片上，但是芯片在運算時要定位內(nèi)存的位置仍然得經(jīng)過繁雜的步驟，這是因為CPU和GPU的內(nèi)存池仍然是獨立運作。

為了解決兩者內(nèi)存池獨立的運算問題，當(dāng)CPU程式需要在GPU上進行部分運算時，CPU都必須從CPU的內(nèi)存上復(fù)制所有的資料到GPU的內(nèi)存上，而當(dāng)GPU上的運算完成時，這些資料還得再復(fù)制回到CPU內(nèi)存上。

然而，將CPU與GPU放入同一架構(gòu)，就能夠消除冗余內(nèi)存副本來改善問題，處理器不再需要將數(shù)據(jù)復(fù)制到自己的專用內(nèi)存池來訪問/更改該數(shù)據(jù)。

統(tǒng)一內(nèi)存池還意味著不需要第二個內(nèi)存芯片池，即連接到CPU的DRAM。

因此，通過CPU+GPU異構(gòu)并行計算架構(gòu)組成的服務(wù)器，正成為服務(wù)器市場中的一匹黑馬。現(xiàn)在已有多家芯片廠商開始跟進。

協(xié)同異構(gòu)AI芯片的挑戰(zhàn)

在實際建設(shè)智算中心的時候，到底在GPU、FPGA、DSA和ASIC之間選擇哪種算力和算力組合，這是一個很大的問題。

GPU雖然能夠應(yīng)對大模型計算需求，但一卡難求以及限制性能等問題嚴(yán)重；

DSA靈活性有限，硬件和軟件架構(gòu)呈現(xiàn)碎片化；

FPGA的功耗和成本較高，主要用于原型驗證，難以在實際場景中大規(guī)模落地；

ASIC功能固化，缺乏足夠的靈活性，而且ASIC芯片的研發(fā)周期長、成本高和風(fēng)險大等，都為大規(guī)模和長期采用帶來了挑戰(zhàn)。

另外，多異構(gòu)計算的硬件層次高集成度和系統(tǒng)軟件層次多協(xié)同、通用編程模型和開發(fā)環(huán)境等，都是行業(yè)需要解決的問題，多異構(gòu)共存的異構(gòu)計算孤島現(xiàn)象越來越突顯。

特別是不同的異構(gòu)計算編程框架，要求開發(fā)者掌握多種編程模式和語言，使得代碼移植面臨巨大挑戰(zhàn)。

尋找一個真正統(tǒng)一、能滿足所有硬件和應(yīng)用需求的編程方法，仍是當(dāng)下計算領(lǐng)域的熱門研究課題。

結(jié)尾：可發(fā)展產(chǎn)業(yè)機遇

大模型AI的出現(xiàn)，為重構(gòu)數(shù)據(jù)中心帶來了機遇。由于大模型AI天然帶來海量的數(shù)據(jù)中心內(nèi)部通信而不是對外通信，在將數(shù)據(jù)中心重構(gòu)為智算中心的時候，就帶來了“一個數(shù)據(jù)中心即為一臺計算機”的設(shè)計理念，這就是以系統(tǒng)設(shè)計為中心的原則。

以系統(tǒng)設(shè)計為中心，即考慮一個數(shù)據(jù)中心上承載大模型訓(xùn)練等邏輯上單一的“大應(yīng)用”，也就是數(shù)據(jù)中心級的業(yè)務(wù)系統(tǒng)。

因此在智算中心的設(shè)計上要超越硬件和軟件的傳統(tǒng)界限，將整個數(shù)據(jù)中心作為一個協(xié)同工作的系統(tǒng)。

有了以數(shù)據(jù)中心為一臺計算機的設(shè)計理念和角度，就能找到有效的軟硬件協(xié)同的異構(gòu)融合計算之路。

內(nèi)容及圖片來源于：晶上聯(lián)盟

審核編輯：劉清