昆侖萬維天工大模型3.0將于4月17日公測(cè)，參數(shù)量高達(dá)4000億

4 月 2 日，昆侖萬維集團(tuán)明確表示，“天工”大模型歷經(jīng)一年升級(jí)鍛造后，全新版本 3.0 將于下周一即 4 月 17 日發(fā)布公測(cè)，并將同步實(shí)現(xiàn)開源計(jì)劃。新的“天工 3.0”采用 4000 億級(jí)參數(shù)的 MoE（混合專家模型），這一數(shù)值為全球 MoE 模型中質(zhì)量最高、性能最優(yōu)者之一。據(jù)公司描述，該模型的性能顯著超越了現(xiàn)有的Grok 1.0。

對(duì)比前代“天工 2.0”MoE 大模型，“天工 3.0”展現(xiàn)出在模型語(yǔ)義理解、邏輯推理方面的“驚人”實(shí)力提升，以及在通用性、泛化性、不確定性知識(shí)和學(xué)習(xí)能力等多個(gè)領(lǐng)域的進(jìn)步。其模型的技術(shù)知識(shí)能力提升達(dá)到了 20%以上，而數(shù)學(xué)/推理/代碼/文創(chuàng)能力則提升超過 30%。

除了原有功能外，“天工 3.0”還具備搜索增強(qiáng)、研究模式、調(diào)用代碼及繪制圖表等特性，以及多次調(diào)用聯(lián)網(wǎng)搜索的能力。此外，它還特別針對(duì)Agent功能進(jìn)行了個(gè)性化訓(xùn)練。這個(gè)能力讓模型能獨(dú)立規(guī)劃、調(diào)用外部工具與信息，甚至能執(zhí)行產(chǎn)業(yè)分析、產(chǎn)品對(duì)比等多種復(fù)雜任務(wù)。

“天工 3.0”被譽(yù)為全球首個(gè)多模態(tài)“超級(jí)模型”，匯集了 AI 搜索、AI 寫作、AI 長(zhǎng)文本閱讀、AI 對(duì)話、AI 語(yǔ)音合成、AI 圖片生成、AI 漫畫創(chuàng)作、AI 圖片識(shí)別、AI 音樂生成、AI 代碼寫作、AI 表格生成等眾多強(qiáng)大能力。公司對(duì)此詮釋道，這無疑是“大模型時(shí)代的超級(jí)應(yīng)用”。

值得一提的是，早在去年 10 月，昆侖萬維就已開放了百億級(jí)大語(yǔ)言模型“天工”Skywork-13B 的開源項(xiàng)目，同時(shí)還引入了大約 600GB 和 150B Tokens 的開源中文數(shù)據(jù)集作為配套支持。該項(xiàng)目如今已經(jīng)涵蓋了兩部分主要內(nèi)容，分別是 Skywork-13B-Base 模型和 Skywork-13B-Math 模型，它們各自都具有高達(dá) 130 億的參數(shù)規(guī)模。