全光深度儲(chǔ)備池計(jì)算機(jī)突破大模型訓(xùn)練難題

當(dāng)前，人工智能的飛速發(fā)展催生了大模型對(duì)海量算力的無(wú)盡渴望，使得原本基于馮諾依曼結(jié)構(gòu)的計(jì)算機(jī)遇到了巨大的挑戰(zhàn)。為此，尋找一種新的高效計(jì)算機(jī)結(jié)構(gòu)來替代經(jīng)典架構(gòu)，成為了業(yè)內(nèi)專家們長(zhǎng)久以來的探索方向。近期，來自上海科技大學(xué)的研究團(tuán)隊(duì)便取得了突破性進(jìn)展，他們首次研發(fā)出了全光深度儲(chǔ)備池計(jì)算機(jī)，并在著名學(xué)術(shù)刊物《Optica》上公開發(fā)表了這一開創(chuàng)性的成果——名為“Deep photonic reservoir computing recurrent network”的論文。

儲(chǔ)備池計(jì)算（Reservoir Computing）作為在2000年被提出的先進(jìn)理念，是一類以較少培訓(xùn)成本和低硬件投入實(shí)現(xiàn)的可逆循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），在時(shí)序數(shù)據(jù)處理中擁有廣泛的適用領(lǐng)域，諸如波形辨別、語(yǔ)音識(shí)別及時(shí)間序列預(yù)測(cè)等。盡管其使得訓(xùn)練成本更低且具有高效率、低延遲的優(yōu)點(diǎn)，但卻不適應(yīng)那些需要深度神經(jīng)網(wǎng)絡(luò)多層次處理信息的大型模型，因?yàn)槎鄶?shù)硬件儲(chǔ)備池計(jì)算機(jī)只有一層厚度，無(wú)法勝任處理現(xiàn)實(shí)生活中紛繁復(fù)雜任務(wù)的需求。

然而，該研究團(tuán)隊(duì)這次創(chuàng)新性的成就便是通過運(yùn)用級(jí)聯(lián)光注入鎖定的全新技術(shù)，成功組建了共4個(gè)隱藏層。這種儲(chǔ)備池光計(jì)算機(jī)的獨(dú)特之處在于，每個(gè)隱藏層都是由半導(dǎo)體激光芯片與光學(xué)反饋環(huán)組成，且兩個(gè)層面之間的聯(lián)系采用全光形式進(jìn)行，無(wú)需經(jīng)過光電變換或數(shù)模轉(zhuǎn)換，這不僅大大降低了能源消耗，也有效縮短了延遲時(shí)間。

據(jù)悉，此款計(jì)算機(jī)工作頻率高達(dá)20GHz，延遲時(shí)間僅為263ns，具備生成超過5000個(gè)神經(jīng)元節(jié)點(diǎn)以及101TOPS強(qiáng)大算力的能力。此外，由于每一層都由相應(yīng)的激光芯片提供能量，故而無(wú)論儲(chǔ)備池深度如何擴(kuò)展，系統(tǒng)中的光功率均不受影響。

為了論證這一計(jì)算機(jī)解決實(shí)際問題的能力，科研團(tuán)隊(duì)選取了四個(gè)隱藏層共計(jì)320個(gè)互連神經(jīng)元（每層80個(gè)）來解決光纖通信領(lǐng)域的重要挑戰(zhàn)——非線性信道均衡問題，這也是華為早先提出的后香農(nóng)時(shí)代十大數(shù)學(xué)難題之一。試驗(yàn)結(jié)果顯示，這款深度儲(chǔ)備池光計(jì)算機(jī)展現(xiàn)出極強(qiáng)的光纖非線性補(bǔ)償功能，有力提升了光纖信道的通信容量。

據(jù)了解，相較于市場(chǎng)主流的邊緣計(jì)算產(chǎn)品，同功耗下的儲(chǔ)備池光計(jì)算機(jī)算力至少高出1個(gè)數(shù)量級(jí)，且能將時(shí)延降低3至4個(gè)數(shù)量級(jí)。因此，未來這一新形態(tài)的儲(chǔ)備池光計(jì)算機(jī)將被廣泛應(yīng)用于如智能制造、機(jī)器人、智慧醫(yī)療、智慧交通、智能家居等各類邊緣計(jì)算應(yīng)用場(chǎng)景。