Qwen2強(qiáng)勢(shì)來(lái)襲，AIBOX支持本地化部署

Qwen2 是阿里通義推出的新一代多語(yǔ)言預(yù)訓(xùn)練模型，經(jīng)過(guò)更深入的預(yù)訓(xùn)練和指令調(diào)整，在多個(gè)基準(zhǔn)評(píng)測(cè)結(jié)果中表現(xiàn)出色，尤其在代碼和數(shù)學(xué)方面有顯著提升，同時(shí)拓展了上下文長(zhǎng)度支持，最高可達(dá)128K。目前 AIBOX-1684X 已適配 Qwen2 系列模型，并已集成在 FireflyChat 對(duì)話應(yīng)用中，開(kāi)機(jī)即可體驗(yàn)。

模型基礎(chǔ)更新

預(yù)訓(xùn)練和指令微調(diào)模型

Qwen2系列包含5個(gè)尺寸的預(yù)訓(xùn)練和指令微調(diào)模型，所有尺寸模型都使用了 GQA（分組查詢注意力）機(jī)制，方便用戶體驗(yàn)到推理加速和顯存占用降低的優(yōu)勢(shì)。

加強(qiáng)27種語(yǔ)言的訓(xùn)練數(shù)據(jù)

Qwen團(tuán)隊(duì)通過(guò)擴(kuò)展多語(yǔ)言預(yù)訓(xùn)練和指令微調(diào)數(shù)據(jù)的規(guī)模，針對(duì)除中英文以外的27種語(yǔ)言進(jìn)行加強(qiáng)，提升模型的多語(yǔ)言能力。

模型多方面測(cè)評(píng)

基準(zhǔn)測(cè)評(píng)結(jié)果

相比 Qwen1.5，得益于預(yù)訓(xùn)練數(shù)據(jù)及訓(xùn)練方法的優(yōu)化，Qwen2 在大模型實(shí)現(xiàn)大幅度的效果提升。在針對(duì)預(yù)訓(xùn)練語(yǔ)言模型的評(píng)估中，Qwen2-72B 在包括自然語(yǔ)言理解、知識(shí)、代碼、數(shù)學(xué)及多語(yǔ)言等多項(xiàng)能力上均表現(xiàn)卓越。

小模型方面，相比近期推出的領(lǐng)先模型，Qwen2-7B-Instruct 依然能在多個(gè)評(píng)測(cè)上取得顯著的優(yōu)勢(shì)，尤其是代碼及中文理解。

代碼和數(shù)學(xué)能力顯著提升

代碼方面，沿用 Qwen1.5 的代碼能力，實(shí)現(xiàn) Qwen2 在多種編程語(yǔ)言上的效果提升；數(shù)學(xué)方面，投入了大規(guī)模且高質(zhì)量的訓(xùn)練數(shù)據(jù)提升 Qwen2-72B-Instruct 的數(shù)學(xué)解題能力。

長(zhǎng)文本處理

Qwen2 系列模型中較為關(guān)注的功能是它能夠理解和處理擴(kuò)展的上下文序列，對(duì)于冗長(zhǎng)文檔的應(yīng)用程序，Qwen2 可以提供更準(zhǔn)確、全面的響應(yīng)，實(shí)現(xiàn)長(zhǎng)文本自然語(yǔ)言高效處理。在Needle in a Haystack的測(cè)試集上顯示：Qwen2-7B-Instruct 幾乎完美地處理長(zhǎng)達(dá)128k的上下文。

Qwen2-7B本地化部署