Databricks發(fā)布DBRX開源AI模型，性能優(yōu)于Meta的Lama 2

3月28日，初創(chuàng)公司Databricks宣布其開源AI模型DBRX面世，宣稱為目前全球功能最強(qiáng)的開源大語(yǔ)言模型，超過了Meta公司的Llama 2系列產(chǎn)品。

據(jù)了解，DBRX模型運(yùn)用的是Transformer架構(gòu)，內(nèi)置參數(shù)高達(dá)1320億，擁有由16個(gè)專家網(wǎng)絡(luò)組成的復(fù)雜系統(tǒng)。每次進(jìn)行推理時(shí)，僅需使用其中的四個(gè)專家網(wǎng)絡(luò)就能激活360億的復(fù)雜參數(shù)。

公司在博客文章中詳解道，就算與Meta公司的 Llama 2-70B、法國(guó)MixtralAI公司的Mixtral以及馬斯克旗下xAI公司研發(fā)的Grok-1這些知名開源模型相比，DBRX仍在語(yǔ)言理解、編程、數(shù)學(xué)和邏輯等多個(gè)領(lǐng)域表現(xiàn)出色。

具體來(lái)說，DBRX在語(yǔ)言理解性能上得分73.7%，領(lǐng)先于GPT-3.5的70.0%、Llama 2-70B的69.8%、Mixtral的71.4%以及Grok-1的73.0%；而在編程能力測(cè)試中，得分為70.1%，傲視群雄地拋離GPT-3.5的48.1%、Llama 2-70B的32.3%、Mixtral的54.8%以及Grok-1的63.2%；至于數(shù)學(xué)水平，DBRX得分66.9%，同樣優(yōu)于包括GPT-3.5在內(nèi)的其他競(jìng)品。

據(jù)悉，DBRX模型的構(gòu)建借鑒了MegaBlocks的研究成果及開源項(xiàng)目，每秒能高速處理大量數(shù)據(jù)。Databricks堅(jiān)信，這種性能卓越性必將引領(lǐng)未來(lái)開源MoE模型的創(chuàng)新發(fā)展。