國(guó)產(chǎn)大模型發(fā)展的經(jīng)驗(yàn)與教訓(xùn)

本文介紹大模型的計(jì)算特征（國(guó)產(chǎn)平臺(tái)介紹、系統(tǒng)挑戰(zhàn)、算子實(shí)現(xiàn)、容錯(cuò)）、框架的并行性支持、未來(lái)算法等。

隨著ChatGPT的橫空出世，人工智能大模型成為各行各業(yè)熱議的焦點(diǎn)，國(guó)內(nèi)外各種大模型如雨后春筍般涌現(xiàn)，引發(fā)了新一輪人工智能熱潮。但在看到大模型取得巨大進(jìn)步的同時(shí)，也要看到當(dāng)前國(guó)內(nèi)大模型的研發(fā)推廣仍然面臨不小的挑戰(zhàn)和壓力。

面對(duì)上述挑戰(zhàn)，需從戰(zhàn)略層面統(tǒng)籌考慮大模型研發(fā)運(yùn)營(yíng)等相關(guān)問(wèn)題，充分發(fā)揮“集中力量辦大事”的制度優(yōu)勢(shì)，強(qiáng)化頂層設(shè)計(jì)，加大統(tǒng)一規(guī)劃，加大政策支持和資源投入力度，推動(dòng)中國(guó)人工智能從“跟跑”邁向“領(lǐng)跑”。

一是提高算力規(guī)模。進(jìn)一步完善信息基礎(chǔ)設(shè)施，加快推進(jìn)“東數(shù)西算”步伐，加大算力網(wǎng)絡(luò)建設(shè)力度，為大模型研發(fā)運(yùn)營(yíng)提供足夠算力，同時(shí)進(jìn)一步提高網(wǎng)絡(luò)速度，降低網(wǎng)絡(luò)時(shí)延，為更多大模型走向應(yīng)用創(chuàng)造條件。

二是加強(qiáng)數(shù)據(jù)管理。國(guó)家層面加強(qiáng)對(duì)數(shù)據(jù)的管控，明確行業(yè)標(biāo)準(zhǔn)，建立數(shù)據(jù)使用規(guī)則，確保大模型訓(xùn)練數(shù)據(jù)的質(zhì)量。同時(shí)，針對(duì)行業(yè)數(shù)據(jù)，破除不同廠家之間數(shù)據(jù)互相不能查詢的壁壘，確保大模型訓(xùn)練有充足、準(zhǔn)確的專業(yè)數(shù)據(jù)。

三是建立大模型研發(fā)“國(guó)家隊(duì)”。集中全國(guó)頂尖人才和優(yōu)質(zhì)資源，舉全國(guó)之力進(jìn)行攻堅(jiān)突破，同時(shí)解決大模型研發(fā)中存在的“小而散”問(wèn)題，減少無(wú)效或低效大模型開發(fā)對(duì)算力和能源的浪費(fèi)。

四是加大資金投入。建立國(guó)家大模型基金，專門用于大模型的研發(fā)、訓(xùn)練等。

五是加大政策支持。面向大模型研發(fā)，制訂更加優(yōu)惠的稅收政策。針對(duì)國(guó)有企業(yè)在大模型研發(fā)上投入的資金，允許以兩倍規(guī)模計(jì)為企業(yè)凈利潤(rùn)。

六是加大科技投入。解決核心技術(shù)“卡脖子”問(wèn)題，特別是加大人工智能芯片研發(fā)制造力度。