天數(shù)智芯取得大模型適配支持階段性成果

ChatGPT在全球范圍內(nèi)掀起了一場技術(shù)革命與商業(yè)浪潮，AI 市場也迎來了前所未有的機遇。伴隨著大模型的快速崛起及廣泛應(yīng)用，底層算力的支撐作用愈發(fā)凸顯。順應(yīng)技術(shù)發(fā)展潮流，天數(shù)智芯從硬件、軟件兩個角度推動戰(zhàn)略升級，打造高性價比、廣通用性的全棧式集群解決方案，為大模型時代提供強大算力底座。

天數(shù)智芯的通用GPU產(chǎn)品天垓、智鎧系列具有自主可控、高性能、通用性、靈活性等特點，廣泛支持PyTorch、TensorFlow、PaddlePaddle 等各種原生框架，支撐了200余種人工智能算法模型穩(wěn)定運行。在此基礎(chǔ)上，天數(shù)智芯自主研發(fā)了IXCCL分布式通信技術(shù)，顯著提升多機多卡高速互聯(lián)性能，打造基于自主通用GPU的算力集群方案，持續(xù)優(yōu)化自動混精訓(xùn)練、流水線并行、張量并行、數(shù)據(jù)并行以及模型并行等并行加速策略，讓大模型訓(xùn)練、推理變得更加高效。

天數(shù)智芯通用GPU產(chǎn)品天垓、智鎧系列

在合作伙伴的大力支持和共同努力下，天數(shù)智芯自主算力集群方案不僅能夠有效支持OPT、LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune，還適配支持了清華、智源、復(fù)旦等在內(nèi)的國內(nèi)多個研究機構(gòu)的開源大模型，取得了大模型適配支持階段性成果。如，由清華技術(shù)成果轉(zhuǎn)化的智譜AI公司推出了基于千億基座模型的ChatGLM，采用天數(shù)智芯算力集群方案無需修改代碼即可跑通GLM 6B開源版，節(jié)省了大量時間成本和運營成本，讓客戶無痛使用。結(jié)果顯示，在問答環(huán)節(jié)，基于天數(shù)智芯算力集群的ChatGLM能夠快速響應(yīng)用戶問題，并較精準(zhǔn)給出回答。

天數(shù)智芯自主算力集群方案

全新的人工智能時代正呼嘯而來，海量數(shù)據(jù)洪流和大模型應(yīng)用需求爆發(fā)將繼續(xù)拉動算力規(guī)模成倍增長。天數(shù)智芯將始終堅持開發(fā)自主可控、國際領(lǐng)先的高性能通用GPU產(chǎn)品，不斷升級算力解決方案，適配支持更多參數(shù)量、更大數(shù)據(jù)集、更復(fù)雜算法的大模型，為我國大模型創(chuàng)新發(fā)展、應(yīng)用落地提供更加堅實的算力支撐。

關(guān)于天數(shù)智芯

上海天數(shù)智芯半導(dǎo)體有限公司（簡稱“天數(shù)智芯”）于2018年正式啟動通用GPU芯片設(shè)計，是中國第一家通用GPU高端芯片及超級算力系統(tǒng)提供商。公司以“成為智能社會的賦能者”為使命，立足客戶、市場的需求，致力于開發(fā)自主可控、國際領(lǐng)先的高性能通用GPU產(chǎn)品，探索通用GPU趕超發(fā)展道路，加快建設(shè)自主產(chǎn)業(yè)生態(tài)，打造世界一流的算力引擎，以更可信、更高效、更綠色的算力賦能各行各業(yè)智能化轉(zhuǎn)型，促進(jìn)我國數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展，開啟中國引領(lǐng)世界走向元宇宙、數(shù)字孿生的嶄新一頁。

審核編輯 ：李倩