摩爾線程和滴普科技完成大模型訓(xùn)練與推理適配

近日，摩爾線程與滴普科技宣布了一項(xiàng)重要合作成果。摩爾線程的夸娥（KUAE）千卡智算集群與滴普科技的企業(yè)大模型Deepexi已完成訓(xùn)練及推理適配，共同實(shí)現(xiàn)了700億參數(shù)LLaMA2大語(yǔ)言模型的預(yù)訓(xùn)練測(cè)試。

在測(cè)試過程中，摩爾線程的夸娥千卡智算集群展現(xiàn)了其卓越的性能。全程77小時(shí)的無(wú)故障連續(xù)運(yùn)行，集群訓(xùn)練穩(wěn)定性高達(dá)100%，訓(xùn)練效率和兼容性均達(dá)到預(yù)期。這一成果得益于摩爾線程夸娥千卡智算集群的全棧方案，其模型覆蓋、推理加速、CUDA兼容、斷點(diǎn)續(xù)訓(xùn)、分布式訓(xùn)練、集群可靠性等8大核心能力，為訓(xùn)練提供了強(qiáng)大支持。

此次合作不僅彰顯了摩爾線程在智能計(jì)算領(lǐng)域的領(lǐng)先地位，也標(biāo)志著雙方在推動(dòng)國(guó)產(chǎn)化數(shù)智賦能底座構(gòu)建上取得了實(shí)質(zhì)性進(jìn)展。展望未來，摩爾線程與滴普科技將繼續(xù)深化合作，共同推動(dòng)人工智能技術(shù)的創(chuàng)新與發(fā)展。