AI大模型給算力基礎(chǔ)帶來(lái)的影響

2023年4月28日晚，信息科學(xué)前沿與產(chǎn)業(yè)創(chuàng)新課程暨信息科學(xué)技術(shù)學(xué)院第九期“知存講座”在理科教學(xué)樓106教室順利舉辦。知存科技創(chuàng)始人兼CEO、北大校友王紹迪先生受邀進(jìn)行了以“AI大模型帶來(lái)算力基礎(chǔ)的改變”為主題的分享，30余名師生到場(chǎng)聆聽(tīng)。本次活動(dòng)由北京大學(xué)信息科學(xué)技術(shù)學(xué)院副院長(zhǎng)王潤(rùn)聲老師主持。

講座伊始，王紹迪先生簡(jiǎn)要介紹了目前的形勢(shì)及知存科技的情況。AI大模型達(dá)到奇點(diǎn)，既會(huì)產(chǎn)生巨大的經(jīng)濟(jì)效益，為人們的生活帶來(lái)重大變革，也會(huì)對(duì)從應(yīng)用場(chǎng)景到底層算力的產(chǎn)業(yè)整體產(chǎn)生極大影響，還會(huì)為國(guó)際競(jìng)爭(zhēng)創(chuàng)造新的戰(zhàn)略支點(diǎn)。作為知存科技的創(chuàng)始人兼CEO，王紹迪先生格外關(guān)注AI大模型在底層算力及其基礎(chǔ)建設(shè)方面產(chǎn)生的影響。知存科技自創(chuàng)立以來(lái)一直深耕AI算力領(lǐng)域，在存算一體芯片領(lǐng)域處于國(guó)際領(lǐng)先地位，完成了多項(xiàng)從零到一的突破。公司有180余人的專(zhuān)業(yè)團(tuán)隊(duì)，累計(jì)完成了近8億元融資。在AI大模型不斷發(fā)展的未來(lái)，公司將繼續(xù)專(zhuān)注存算一體技術(shù)，致力提升AI的底層算力。

接下來(lái)，王紹迪先生從AI大模型的應(yīng)用場(chǎng)景、AI計(jì)算大模型需求、近存計(jì)算技術(shù)及應(yīng)用與存內(nèi)計(jì)算及其大模型應(yīng)用四個(gè)方面介紹了AI大模型給算力基礎(chǔ)帶來(lái)的影響。

01

AI大模型的應(yīng)用場(chǎng)景

當(dāng)前，AI大模型已經(jīng)從單純的概念革新轉(zhuǎn)變?yōu)榱四軌驇?lái)巨大商業(yè)價(jià)值和生產(chǎn)力飛躍的先進(jìn)技術(shù)，應(yīng)用場(chǎng)景十分廣闊，在圖片與視頻分析、代碼生成、數(shù)據(jù)分析、視頻生成等方面都展現(xiàn)出了極強(qiáng)的實(shí)力。預(yù)計(jì)未來(lái)兩到三年內(nèi)，GPT類(lèi)算法還會(huì)有更大幅度的迭代，從而能更好地節(jié)約生產(chǎn)成本，提高生產(chǎn)效率。當(dāng)然，大模型的應(yīng)用也會(huì)帶來(lái)數(shù)據(jù)安全威脅等一系列問(wèn)題，相關(guān)監(jiān)管治理措施也有待進(jìn)一步研究和探索。

02

AI計(jì)算大模型需求

目前算力的發(fā)展受到多種制約。一方面，摩爾定律趨于失效，硅基算力增長(zhǎng)將逐漸達(dá)到極限；另一方面，內(nèi)存的計(jì)算性能及存儲(chǔ)器的帶寬提升較慢，不能與計(jì)算芯片時(shí)鐘速、核數(shù)及存儲(chǔ)器存儲(chǔ)容量的增加相匹配，導(dǎo)致計(jì)算效率增長(zhǎng)受限，讀寫(xiě)數(shù)據(jù)功耗增加。功耗是限制算力最大的瓶頸。一定的散熱技術(shù)下，芯片的功耗存在上限，計(jì)算的算力也存在相應(yīng)的上限。為了提升算力，必須設(shè)法提高能效，擴(kuò)大數(shù)據(jù)穿透的“門(mén)”，讓數(shù)據(jù)更容易在“門(mén)”的兩側(cè)間流動(dòng)。

從智能語(yǔ)音、視覺(jué)處理到自動(dòng)駕駛、AIGC，大模型對(duì)參數(shù)量和算力的要求越來(lái)越高。算力越高，對(duì)數(shù)據(jù)的搬運(yùn)也越多。實(shí)際上，現(xiàn)在所謂的計(jì)算中，90%的時(shí)間在進(jìn)行數(shù)據(jù)的搬運(yùn)。在傳統(tǒng)的馮·諾伊曼計(jì)算架構(gòu)中，數(shù)據(jù)需要在不同的存儲(chǔ)之間流動(dòng)，形成龐大的數(shù)據(jù)流。這個(gè)計(jì)算體系下，硬盤(pán)容量大但讀取慢，緩存讀取快但容量小，都不能真正幫助AI進(jìn)行有效計(jì)算?，F(xiàn)有AI計(jì)算最依賴(lài)的器件是內(nèi)存，它的容量足夠大，可以容納大部分模型的整體或部分，而且?guī)捯沧銐蚋?，可以支持高速的?shù)據(jù)讀寫(xiě)需求。目前，業(yè)界的優(yōu)化也主要集中在對(duì)內(nèi)存與計(jì)算芯片之間帶寬的優(yōu)化上。此外，由于單張芯片內(nèi)存的容量有限，一些大模型需要多張芯片互聯(lián)來(lái)實(shí)現(xiàn)訓(xùn)練或推理。在這個(gè)過(guò)程中，真正構(gòu)成計(jì)算的瓶頸且亟需得到提升的，不是計(jì)算芯片單核的計(jì)算速度，而是單卡的內(nèi)存與芯片之間，以及多卡之間數(shù)據(jù)交換的速度。

架構(gòu)層面的改進(jìn)也能夠帶來(lái)計(jì)算效率的提高。相比CPU，GPU對(duì)于AI模型的運(yùn)算效率已經(jīng)高了100倍左右。對(duì)于AI大模型這種大參數(shù)量計(jì)算，通用計(jì)算的效率很低，如果針對(duì)模型設(shè)計(jì)專(zhuān)用的計(jì)算解決方案，將能帶來(lái)更大的受益。通過(guò)定制化設(shè)計(jì)開(kāi)發(fā)具有專(zhuān)用計(jì)算架構(gòu)的專(zhuān)用計(jì)算芯片，預(yù)計(jì)還能將大模型計(jì)算的效率提高10倍左右。

AI算力市場(chǎng)規(guī)模不容小覷?；诂F(xiàn)有顯卡及云服務(wù)價(jià)格，短期市場(chǎng)規(guī)模預(yù)計(jì)可達(dá)15億美元，而中期及長(zhǎng)期規(guī)模預(yù)計(jì)將分別達(dá)到1200億美元及20000億美元。基于未來(lái)方案的成本優(yōu)化及計(jì)算算力的成本降低，對(duì)未來(lái)市場(chǎng)作出的較合理預(yù)測(cè)約為中期300億美元，長(zhǎng)期1000億美元?？梢?jiàn)，AI底層算力的市場(chǎng)將會(huì)是一個(gè)非常大的專(zhuān)一市場(chǎng)。

03

近存計(jì)算技術(shù)及應(yīng)用

怎樣持續(xù)優(yōu)化算力，降低計(jì)算成本，提高計(jì)算效率呢？存算一體被認(rèn)為是最有效的手段之一。馮·諾伊曼計(jì)算架構(gòu)中，內(nèi)存和計(jì)算是分開(kāi)的，而現(xiàn)在主流的高算力芯片已經(jīng)開(kāi)始采用近存的計(jì)算架構(gòu)，將內(nèi)存和計(jì)算芯片整合到一起。更高效的存內(nèi)計(jì)算架構(gòu)，以及將近存與存內(nèi)結(jié)合在一起的計(jì)算架構(gòu)也有巨大的發(fā)展?jié)摿Α?/p>

近存計(jì)算是目前商業(yè)化程度最高的存算一體技術(shù)。近存計(jì)算起源于2013年AMD和海力士解決內(nèi)存與顯卡之間數(shù)據(jù)帶寬問(wèn)題的實(shí)踐，其基本思想是用集成電路的方式將內(nèi)存和計(jì)算芯片結(jié)合在一起，拉近二者之間的距離，從而使其間走線(xiàn)長(zhǎng)度更短，密度更大，數(shù)量更多。近存計(jì)算有2.5D與3D兩種集成技術(shù)。2.5D技術(shù)將計(jì)算芯片與內(nèi)存芯片集成到一個(gè)芯片上去，從而在二者間實(shí)現(xiàn)芯片工藝的走線(xiàn)，以替代原有的PCB版工藝的走線(xiàn)。這種技術(shù)運(yùn)用現(xiàn)有的成熟技術(shù)解決問(wèn)題，是目前最實(shí)際的一種解決方案。而3D集成技術(shù)將兩個(gè)芯片“貼”在一起，其間的走線(xiàn)密度還能再提高10至100倍，集成密度更大，計(jì)算速度更快。

各大廠商都積極采用近存計(jì)算技術(shù)，推出了性能先進(jìn)的產(chǎn)品?，F(xiàn)在，英偉達(dá)的高帶寬內(nèi)存技術(shù)（HBM，High Bandwidth Memory）采用2.5D與3D相結(jié)合的封裝方式，已經(jīng)過(guò)數(shù)次迭代達(dá)到了很高的帶寬，并為蘋(píng)果的M1及M2芯片采用；英特爾的智強(qiáng)處理器采用2.5D集成HBM2E內(nèi)存，集成AI訓(xùn)練和推理加速器，能夠更有效地提升相關(guān)計(jì)算的速度；AMD通過(guò)將所有內(nèi)存直接通過(guò)3D方式與計(jì)算芯片堆疊在一起，大幅降低了每比特?cái)?shù)據(jù)的傳輸功耗；三星則基于3D封裝技術(shù)，集成計(jì)算邏輯芯片與內(nèi)存。

然而，隨著摩爾定律逐漸失效，芯片的成本越來(lái)越高。目前，提高10%至20%的速度，要提高約50%的成本，相當(dāng)于速度提高一倍，成本要提高近五倍。未來(lái)，獲得更高算力的成本會(huì)持續(xù)上漲，產(chǎn)品的價(jià)格也會(huì)相應(yīng)提高。而且，2.5D與3D的集成方式預(yù)計(jì)將在兩三年內(nèi)達(dá)到帶寬極限，未來(lái)發(fā)展的挑戰(zhàn)會(huì)越來(lái)越大。

04

存內(nèi)計(jì)算及其大模型應(yīng)用

如上所述，近存計(jì)算通過(guò)封裝、集成的手段“拉近”內(nèi)存與計(jì)算芯片之間的距離，雖然是業(yè)界的主流，也終究存在發(fā)展的極限。而存內(nèi)計(jì)算作為更加高效的計(jì)算技術(shù)，正在受到越來(lái)越廣泛的關(guān)注。

采用內(nèi)存而非硬盤(pán)進(jìn)行AI大模型計(jì)算的原因，是硬盤(pán)雖有很大的容量，但沒(méi)有令人滿(mǎn)意的讀寫(xiě)速度。如果能夠讓存儲(chǔ)單元基于本身的物理特性直接完成計(jì)算，就能減少數(shù)據(jù)的流動(dòng)，從而減小對(duì)高帶寬的依賴(lài)程度。存內(nèi)計(jì)算技術(shù)可分為存內(nèi)計(jì)算SoC、3D存內(nèi)計(jì)算及2.5D+3D存內(nèi)計(jì)算三代技術(shù)，內(nèi)容十分豐富。目前的存內(nèi)計(jì)算技術(shù)主要能夠使存儲(chǔ)單元具備乘法與加法計(jì)算的能力，雖不完備，卻能覆蓋AI計(jì)算的90%左右，能夠大幅提高整體的計(jì)算效率。另外，AI大模型對(duì)計(jì)算精度的要求相對(duì)降低，存內(nèi)計(jì)算精度可以完成有關(guān)的計(jì)算任務(wù)。此外，存內(nèi)計(jì)算技術(shù)分布式存儲(chǔ)與計(jì)算的特性使它適合于混合專(zhuān)家系統(tǒng)的實(shí)現(xiàn)。成本驅(qū)動(dòng)是底層算力發(fā)展的關(guān)鍵特征。由于對(duì)先進(jìn)工藝的依賴(lài)較弱，對(duì)內(nèi)存帶寬的需求不高，存內(nèi)計(jì)算技術(shù)有望大幅降低AI計(jì)算成本，展現(xiàn)出良好的發(fā)展前景。

在提問(wèn)交流環(huán)節(jié)，到場(chǎng)師生就存算一體芯片的優(yōu)勢(shì)、挑戰(zhàn)、技術(shù)細(xì)節(jié)，以及知存科技良好發(fā)展的經(jīng)驗(yàn)等問(wèn)題與王紹迪先生進(jìn)行了交流。王紹迪先生耐心地解答了大家的問(wèn)題。

最后，講座在同學(xué)們熱烈的掌聲中圓滿(mǎn)結(jié)束。

審核編輯 ：李倩