Mistral中杯代碼能力完勝GPT-4，成本暴降2/3

小模型的風(fēng)潮，最近愈來(lái)愈盛，Mistral和微軟分別有所動(dòng)作。而網(wǎng)友實(shí)測(cè)發(fā)現(xiàn)，Mistral-medium的代碼能力竟然完勝了GPT-4，而所花成本還不到三分之一。

最近，「小語(yǔ)言模型」忽然成為熱點(diǎn)。

本周一，剛剛完成4.15億美元融資的法國(guó)AI初創(chuàng)公司Mistral，發(fā)布了Mixtral 8x7B模型。

這個(gè)開(kāi)源模型盡管尺寸不大，小到足以在一臺(tái)內(nèi)存100GB以上的電腦上運(yùn)行，然而在某些基準(zhǔn)測(cè)試中卻能和GPT-3.5打平，因此迅速在開(kāi)發(fā)者中贏(yíng)得了一片稱(chēng)贊。

之所以叫Mixtral 8x7B，是因?yàn)樗Y(jié)合了為處理特定任務(wù)而訓(xùn)練的各種較小模型，從而提高了運(yùn)行效率。

這種「稀疏專(zhuān)家混合」模型并不容易實(shí)現(xiàn)，據(jù)說(shuō)OpenAI在今年早些時(shí)候因?yàn)闊o(wú)法讓MoE模型正常運(yùn)行，而不得不放棄了模型的開(kāi)發(fā)。

緊接著，就在第二天，微軟又發(fā)布了全新版本的Phi-2小模型。

跟Mistral的70億參數(shù)比，Phi-2小到可以在手機(jī)上跑，只有27億參數(shù)。相比之下，GPT-4的參數(shù)達(dá)到了一萬(wàn)億。

Phi-2在精心挑選的數(shù)據(jù)集上進(jìn)行了訓(xùn)練，數(shù)據(jù)集的質(zhì)量足夠高，因此即使手機(jī)的計(jì)算能力有限，也能確保模型生成準(zhǔn)確的結(jié)果。

雖然還不清楚微軟或其他軟件制造商將如何使用小型模型，但最明顯的好處，就是降低了大規(guī)模運(yùn)行AI應(yīng)用的成本，并且極大地拓寬了生成式AI技術(shù)的應(yīng)用范圍。

這是一件大事。

Mistral-medium代碼生成完勝GPT-4

最近，Mistral-medium已經(jīng)開(kāi)放內(nèi)測(cè)。

有博主對(duì)比了開(kāi)源的Mistral-medium和GPT-4的代碼生成能力，結(jié)果顯示，Mistral-medium比GPT-4的代碼能力更強(qiáng)，然而成本卻只需GPT-4的3成！

總價(jià)來(lái)說(shuō)就是：

1）Mistral會(huì)始終完成工作，完成度很高；

2）不會(huì)在冗長(zhǎng)的解釋性輸出上浪費(fèi)token；

3）提供的建議非常具體。

第一題，「編寫(xiě)用于生成斐波那契素?cái)?shù)的PyTorch數(shù)據(jù)集的cuda優(yōu)化代碼」。

Mistral-Medium生成的代碼嚴(yán)肅、完整。

而GPT-4生成的代碼，就差強(qiáng)人意了。

浪費(fèi)了很多token，卻沒(méi)有輸出有用的信息。

然后，GPT-4只給出了骨架代碼，并沒(méi)有具體的相關(guān)代碼。

第二道題：「編寫(xiě)高效的Python代碼，將大約10億個(gè)大型Apache HTTP訪(fǎng)問(wèn)文件攝取到 SqlLite數(shù)據(jù)庫(kù)中，并使用它來(lái)生成對(duì)sales.html和product.html的訪(fǎng)問(wèn)直方圖」。

Mistral的輸出非常精彩，雖然log不是CSV格式的，但修改起來(lái)很容易。

GPT-4依舊拉跨。

此前，這位博主測(cè)試過(guò)多個(gè)代碼生成模型，GPT-4一直穩(wěn)居第一。

而現(xiàn)在，把它拉下寶座的強(qiáng)勁對(duì)手Mistral-medium終于出現(xiàn)了。

雖然只發(fā)布了兩個(gè)例子，但博主測(cè)試了多個(gè)問(wèn)題，結(jié)果都差不多。

他建議：鑒于Mistral-medium在代碼生成質(zhì)量上有更好的體驗(yàn)，應(yīng)該把它整合到各地的代碼copilot中。

有人按照每1000token算出了輸入和輸出的成本，發(fā)現(xiàn)Mistral-medium比起GPT-4直接降低了70%！

的確，節(jié)省了70%的token費(fèi)用，可不是一件小事。甚至還可以通過(guò)不冗長(zhǎng)的輸出，來(lái)進(jìn)一步節(jié)省成本。