昆侖芯重磅打造xHuggingface開(kāi)源推理套件

新一輪人工智能熱潮下，國(guó)內(nèi)大模型群雄逐鹿，目前已有超過(guò)80個(gè)大模型公開(kāi)測(cè)試。而相關(guān)數(shù)據(jù)顯示，ChatGPT自發(fā)布以來(lái)，全球訪問(wèn)量環(huán)比增幅持續(xù)下降，6月首次出現(xiàn)環(huán)比下滑9.7%。泡沫退去，如何在大模型時(shí)代保持市場(chǎng)競(jìng)爭(zhēng)力？

針對(duì)大模型場(chǎng)景，昆侖芯早已在產(chǎn)品定義上作出布局，相較第一代產(chǎn)品，昆侖芯2代AI芯片可大幅優(yōu)化算力、互聯(lián)和高性能，而在研的下一代產(chǎn)品則將提供更佳的性能體驗(yàn)。

在近日落幕的XceedCon2023人工智能芯片生態(tài)大會(huì)上，昆侖芯大模型端到端解決方案正式發(fā)布，該解決方案隨即入選2023世界人工智能大會(huì)卓越人工智能引領(lǐng)者獎(jiǎng)（Super AI Leader，簡(jiǎn)稱SAIL獎(jiǎng)）TOP30榜單。

昆侖芯副總裁王勇、昆侖芯互聯(lián)網(wǎng)行業(yè)總經(jīng)理王志鵬先后在XceedCon2023人工智能芯片生態(tài)大會(huì)、2023世界人工智能大會(huì)對(duì)昆侖芯大模型端到端解決方案進(jìn)行發(fā)布與推介。本篇以下內(nèi)容整理自現(xiàn)場(chǎng)實(shí)錄。

軟硬協(xié)同、技術(shù)創(chuàng)新

打造高性能產(chǎn)品矩陣

集十余年AI加速領(lǐng)域研發(fā)積累，昆侖芯核心團(tuán)隊(duì)于2017年在Hot Chips上發(fā)布自研、面向通用人工智能計(jì)算的芯片核心架構(gòu)——昆侖芯XPU。目前，已有兩代昆侖芯AI芯片基于該架構(gòu)實(shí)現(xiàn)量產(chǎn)和規(guī)模部署。

昆侖芯XPU專為密集型計(jì)算而設(shè)計(jì)，相比GPU可提供更多AI加速單元，同時(shí)支持C/C++、類CUDA語(yǔ)法編程，兼具高性能和可編程性，適配幾乎所有主流AI場(chǎng)景，滿足不同行業(yè)的大模型訓(xùn)推需求。

大模型的演進(jìn)必將伴隨參數(shù)量的增加，更加依賴于分布式訓(xùn)練與推理能力。昆侖芯2代系列產(chǎn)品搭載新一代核心架構(gòu)XPU-R，性能相較一代提升2-3倍，在分布式場(chǎng)景中優(yōu)勢(shì)明顯。

01.

大顯存

昆侖芯2代產(chǎn)品擁有32GB顯存容量，在同價(jià)位產(chǎn)品中內(nèi)存優(yōu)勢(shì)突出。

02.

高互聯(lián)

昆侖芯通過(guò)領(lǐng)先技術(shù)，可實(shí)現(xiàn)單機(jī)八卡高速互聯(lián)，帶寬達(dá)到200GB/s；支持Direct RDMA，可實(shí)現(xiàn)跨機(jī)間低延時(shí)、高速通訊。

昆侖芯推出針對(duì)不同參數(shù)級(jí)別的大模型產(chǎn)品矩陣，兼具顯存和算力成本優(yōu)勢(shì)。

昆侖芯AI加速卡R200-8F面向百億以內(nèi)參數(shù)量級(jí)，相比同類型產(chǎn)品性能提升20%；

昆侖芯AI加速器組R480-X8面向百億至千億參數(shù)量級(jí)，性能達(dá)到同類型產(chǎn)品的1.3倍以上；

昆侖芯AI加速器組R480-X8集群針對(duì)千億以上參數(shù)量級(jí)，可實(shí)現(xiàn)多機(jī)多卡分布式推理。

昆侖芯大模型解決方案軟件棧

軟件生態(tài)層面，昆侖芯提供了針對(duì)大模型場(chǎng)景的專用加速庫(kù)、豐富的云原生插件，支持文心一言、LLaMA、Bloom、ChatGLM、GPT等行業(yè)主流大模型。

昆侖芯XFT（XPU Fast Transformer）推理加速庫(kù)，較原生框架小算子版本性能提升5倍以上。目前，XFT加速庫(kù)已與百度飛槳、PyTorch等主流深度學(xué)習(xí)框架完成適配；

昆侖芯云原生插件可幫助用戶快速完成和大模型平臺(tái)的適配；同時(shí)提供昆侖芯SDK，幫助用戶快速完成適配和實(shí)時(shí)自定義開(kāi)發(fā)。

昆侖芯xHuggingface開(kāi)源推理套件

此外，昆侖芯全面擁抱開(kāi)源社區(qū)，積極攜手生態(tài)伙伴構(gòu)建軟硬一體的AI芯片生態(tài)。

昆侖芯打造了xHuggingface開(kāi)源推理套件，僅修改1-2行代碼，即可快速搭建基于XPU的智能客服APP。同時(shí)，昆侖芯與飛槳PaddlePaddle的AI Studio社區(qū)緊密合作，基于xHuggingface開(kāi)源推理套件向廣大開(kāi)發(fā)者提供更快、更強(qiáng)、更省的算力產(chǎn)品；

昆侖芯與飛槳深入?yún)f(xié)同適配行業(yè)主流大模型，可支持超大規(guī)模分布式訓(xùn)練與推理。針對(duì)稠密大模型，昆侖芯支持飛槳的Sharding并行、數(shù)據(jù)并行、模型并行、流水線并行四種并行方式；針對(duì)稀疏大模型，昆侖芯與飛槳共同打造大規(guī)模參數(shù)服務(wù)器架構(gòu)，實(shí)現(xiàn)了萬(wàn)億參數(shù)的大模型訓(xùn)練。

深入場(chǎng)景、真實(shí)歷練

打磨端到端解決方案

昆侖芯深入了解不同應(yīng)用場(chǎng)景下客戶的真實(shí)需求，憑借軟硬協(xié)同技術(shù)與高性能產(chǎn)品矩陣，為千行百業(yè)提供開(kāi)箱即用的產(chǎn)品和全棧式AI服務(wù)。

大語(yǔ)言模型場(chǎng)景

昆侖芯推理加速方案

目前，昆侖芯已與業(yè)界主流開(kāi)源大模型完成適配，向客戶開(kāi)放開(kāi)源軟件庫(kù)，供客戶進(jìn)行二次修改、微調(diào)，滿足不同推理場(chǎng)景下的個(gè)性化定制需求。

GPT百億參數(shù)大模型場(chǎng)景：昆侖芯產(chǎn)品的QPS相比主流165W產(chǎn)品提高30%以上，同時(shí)首字時(shí)延更低。

文心一格：目前已大規(guī)模應(yīng)用昆侖芯產(chǎn)品，成本降低的同時(shí)，可實(shí)現(xiàn)2秒快速出圖。

昆侖芯訓(xùn)練產(chǎn)品總覽

針對(duì)大語(yǔ)言模型訓(xùn)練場(chǎng)景，昆侖芯也可提供一整套精調(diào)的訓(xùn)練策略。目前，昆侖芯已適配pretrain、post-pretrain、SFT、LoRA等模型，可根據(jù)客戶的數(shù)據(jù)量與計(jì)算資源情況，靈活推薦不同的訓(xùn)練模式。

能源行業(yè)：昆侖芯解決方案通過(guò)SFT訓(xùn)練模式，客戶僅使用少量數(shù)據(jù)即可2天打造專屬行業(yè)大模型。

智源研究院：昆侖芯和智源研究院在大模型方面已有深入合作。昆侖芯已完成和Aquila大語(yǔ)言模型推理任務(wù)的適配、精度調(diào)試和性能優(yōu)化，并實(shí)現(xiàn)大規(guī)模分布式推理上線，訓(xùn)練任務(wù)適配優(yōu)化中；同時(shí)也適配了智源eva視覺(jué)大模型，初步驗(yàn)證了大規(guī)模分布式預(yù)訓(xùn)練能力。

稀疏大模型推薦場(chǎng)景

稀疏大模型存在訓(xùn)練門檻高、算力消耗大等技術(shù)挑戰(zhàn)。對(duì)于算法和模型持續(xù)高頻迭代的推薦場(chǎng)景，昆侖芯始終將“安全可信”、“從GPU零成本無(wú)縫遷移”作為目標(biāo)，實(shí)現(xiàn)訓(xùn)練與推理系統(tǒng)的緊密耦合，為客戶降本增效。目前，昆侖芯已與互聯(lián)網(wǎng)頭部客戶完成了訓(xùn)練場(chǎng)景的端到端聯(lián)合開(kāi)發(fā)，并在TB級(jí)以上稀疏大模型上完成了“替換主流GPU的全量上線”。

大模型的持續(xù)迭代加速了我國(guó)AI技術(shù)及AI產(chǎn)業(yè)的演進(jìn)，利好政策的相繼出臺(tái)同時(shí)開(kāi)啟了我國(guó)大模型商用浪潮。面向未來(lái)，昆侖芯將始終堅(jiān)持軟硬協(xié)同創(chuàng)新，夯實(shí)AI領(lǐng)域綜合優(yōu)勢(shì)，加速大模型產(chǎn)業(yè)落地，勇立大模型時(shí)代潮頭。

責(zé)任編輯：彭菁