0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

類ChatGPT訓(xùn)練需高性能芯片大規(guī)模并聯(lián),高速接口IP迎紅利時代

Felix分析 ? 來源:電子發(fā)燒友網(wǎng) ? 作者:吳子鵬 ? 2023-03-06 09:18 ? 次閱讀

電子發(fā)燒友網(wǎng)報道(文/吳子鵬)近段時間,ChatGPT的火熱重新掀起人工智能產(chǎn)業(yè)熱潮,尤其是AIGC(指利用人工智能技術(shù)來生成內(nèi)容)領(lǐng)域,已經(jīng)進(jìn)入到狂飆姿態(tài),頭部科技企業(yè)爭分奪秒地尋求搶先發(fā)布類ChatGPT應(yīng)用。

眾所周知,類ChatGPT應(yīng)用是一個吞金獸,微軟公司為了訓(xùn)練ChatGPT使用了1萬張英偉達(dá)的高端GPU?!皬挠?xùn)練的角度來看,計算性能再好的GPU芯片比如A100如果無法集群在一起去訓(xùn)練,那么訓(xùn)練一個類ChatGPT的大模型可能需要上百年。因此,AI大模型的訓(xùn)練對高速接口IP是一個巨大的挑戰(zhàn),也是一個巨大的機(jī)遇?!笨究萍际袌黾皯?zhàn)略副總裁唐睿在接受電子發(fā)燒友網(wǎng)采訪時表示。

奎芯科技成立于2021年,該公司的口號是“芯粒高速互聯(lián),海量算力源泉 ”。目前,奎芯科技已經(jīng)推出的高速接口IP組合包括USB、PCIe、SATA、SerDes、MIPIDDR、HDMI、DP、HBM等豐富的類型。

類ChatGPT帶動接口IP發(fā)展

半導(dǎo)體產(chǎn)業(yè)分布來看,IP是底層技術(shù),接口IP同樣如此,因此關(guān)鍵性和重要性是不言而喻的。那么在AIGC產(chǎn)業(yè)里,接口IP能夠發(fā)揮哪些作用呢?唐睿提到了以下幾點。

首先是芯片上的互聯(lián)接口,也就是Die to Die類型的互聯(lián)接口IP,包括UCIe等,用以擴(kuò)充單芯片的計算能力;其次是Chip to Chip類型的互聯(lián)接口IP,包括SerDes/PCIe/CXL等,能夠加快芯片之間的互聯(lián)和數(shù)據(jù)交換,滿足更高帶寬的需求;此外還有內(nèi)存接口IP,包括SATA、DDR、HBM等,能夠用于打造更高性能的存儲產(chǎn)品,幫助類ChatGPT存儲和交換大規(guī)模的數(shù)據(jù);再上一層就是數(shù)據(jù)通訊接口的接口IP。因此,從訓(xùn)練的角度來看,類ChatGPT應(yīng)用的爆發(fā),能夠帶來非常大的接口IP需求。

在此前的預(yù)測里,有市場調(diào)研機(jī)構(gòu)的數(shù)據(jù)顯示,2022年至2026年高速互聯(lián)IP的市場規(guī)模有望以75%的年復(fù)合增長率快速成長?!敖涌贗P市場的增長一定是跟隨整個高性能計算芯片大趨勢的,包括芯片運算性能、內(nèi)存和帶寬方面的提升都需要接口IP的幫助,因此芯片用量的提升一定會帶來更大的接口IP用量?!碧祁UJ(rèn)為,“同時計算芯片性能的提升已經(jīng)受限于摩爾定律放緩的影響,單芯片的性能會逐漸遇到瓶頸,那么互聯(lián)組成算力集群就是一個有效的手段,這也會加快推動接口IP的發(fā)展?!?/p>

雖然產(chǎn)業(yè)熱潮來臨,不過唐睿并不擔(dān)心一下子會涌入很多同行或者友商,造成國內(nèi)接口IP產(chǎn)業(yè)內(nèi)卷?!笆袌龈偁幍募ち页潭葧黾樱涌贗P是高門檻的領(lǐng)域,目前國內(nèi)做高速混合電路的人才其實并不多,特別是在先進(jìn)制程上做高速模擬電路設(shè)計的人才更少,因此從零組建團(tuán)隊進(jìn)入這個領(lǐng)域是非常困難的?!彼麑Υ酥v到。

國產(chǎn)廠商的布局和追趕

從全球產(chǎn)業(yè)格局來看,在接口IP方面,目前新思科技和楷登電子等EDA廠商以及其他國際上的接口IP廠商還處于領(lǐng)先位置。相關(guān)數(shù)據(jù)顯示,截止到2021年,國產(chǎn)接口IP的自給率還不足10%。

“目前,從技術(shù)上來看,國產(chǎn)接口IP廠商確實還處于追趕的位置,不過這種差距已經(jīng)越來越小。”唐睿指出,“2023年,奎芯科技將會推出一系列性能達(dá)到國際領(lǐng)先水平的接口IP產(chǎn)品,包括HBM3以及其他領(lǐng)先的D2D類型的互聯(lián)接口IP。”

同時,他還講到,在服務(wù)國內(nèi)客戶方面,實際上也會存在很多本地化的需求,需要根據(jù)這些需求結(jié)合晶圓廠的工藝特色,提供IP解決方案??究萍己芏郔P產(chǎn)品,在研發(fā)的過程中或者研發(fā)之前,就得到了客戶方的問詢,圍繞客戶的芯片架構(gòu),有非常清晰的需求??究萍悸?lián)合自己的下游客戶成立了多個產(chǎn)業(yè)聯(lián)盟,通過這些聯(lián)盟將不同類型的計算芯片公司聯(lián)合在一起,協(xié)同發(fā)展,圍繞數(shù)據(jù)中心應(yīng)用把國產(chǎn)方案搭建好,彌補(bǔ)國內(nèi)這一塊的空白。

當(dāng)前,AI大模型訓(xùn)練所用到的算力集群基本上都是基于英偉達(dá)通用算力芯片來打造,在這方面國產(chǎn)通用算力芯片還存在一定的性能差距。唐睿表示,國產(chǎn)高性能計算芯片還是有機(jī)會的,AI大模型并不是一個近期出現(xiàn)的新鮮事物,近些年國內(nèi)AI產(chǎn)業(yè)已經(jīng)在跟進(jìn)這一趨勢,只是類ChatGPT類型應(yīng)用背后的大模型參數(shù)規(guī)模更大。針對這方面的需求,國內(nèi)芯片產(chǎn)業(yè)也早就啟動了這方面的布局,包括奎芯科技所在的接口IP賽道,都在向這個方向努力。不過,從IP研發(fā)到芯片設(shè)計,再到應(yīng)用落地,這中間會有一個時間差。實際上,國外的公司也是在用之前的芯片通過互聯(lián)在做這方面的硬件支持。

“還需要特別提出的是,AIGC是一個軟硬件結(jié)合的應(yīng)用。軟件方面,算法模型的體量也是一個值得研究去突破的方向。目前,國外開源的AIGC算法里,也并非只有Open AI的GPT算法,通過介紹信息來看,也有一些參數(shù)更小的模型能夠?qū)崿F(xiàn)類ChatGPT應(yīng)用。我們實際上可以借鑒這些模型,以減少軟件對硬件的需求壓力?!碧祁W詈笾v到。

小結(jié)

IP對半導(dǎo)體產(chǎn)業(yè)有巨大的撬動力量,在全球范圍內(nèi),約60多億美元的IP銷售額,帶動的是5000億美元的全球半導(dǎo)體市場銷售額。對于***而言,短期內(nèi)實現(xiàn)單芯片性能暴增的難度非常大,不過通過高速接口IP,用算力集群的方式,也能夠逐步進(jìn)入類ChatGPT的紅利市場。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 芯片
    +關(guān)注

    關(guān)注

    452

    文章

    50223

    瀏覽量

    420979
  • IP
    IP
    +關(guān)注

    關(guān)注

    5

    文章

    1613

    瀏覽量

    149254
  • ChatGPT
    +關(guān)注

    關(guān)注

    29

    文章

    1547

    瀏覽量

    7363
收藏 人收藏

    評論

    相關(guān)推薦

    使用EMBark進(jìn)行大規(guī)模推薦系統(tǒng)訓(xùn)練Embedding加速

    推薦系統(tǒng)是互聯(lián)網(wǎng)行業(yè)的核心系統(tǒng),如何高效訓(xùn)練推薦系統(tǒng)是各公司關(guān)注的核心問題。目前,推薦系統(tǒng)基本上都是基于深度學(xué)習(xí)的大規(guī)模 ID 模型,模型包含數(shù)十億甚至數(shù)百億級別的 ID 特征,典型結(jié)構(gòu)如圖 1 所示。
    的頭像 發(fā)表于 10-31 14:46 ?100次閱讀
    使用EMBark進(jìn)行<b class='flag-5'>大規(guī)模</b>推薦系統(tǒng)<b class='flag-5'>訓(xùn)練</b>Embedding加速

    什么是協(xié)議分析儀和訓(xùn)練

    長時間、大規(guī)模的分析。 軟件型協(xié)議分析儀:基于計算機(jī)軟件的工具,通過安裝在計算機(jī)上實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)包的捕獲、解析和分析,靈活且便于擴(kuò)展。 二、訓(xùn)練器在電子設(shè)計和測試領(lǐng)域,訓(xùn)練器通常與協(xié)議分析儀結(jié)合使用,用于對特定
    發(fā)表于 10-29 14:33

    端到端InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸

    ChatGPT對技術(shù)的影響引發(fā)了對人工智能未來的預(yù)測,尤其是多模態(tài)技術(shù)的關(guān)注。OpenAI推出了具有突破性的多模態(tài)模型GPT-4,使各個領(lǐng)域取得了顯著的發(fā)展。 這些AI進(jìn)步是通過大規(guī)模模型訓(xùn)練實現(xiàn)
    的頭像 發(fā)表于 10-23 11:26 ?242次閱讀
    端到端InfiniBand網(wǎng)絡(luò)解決LLM<b class='flag-5'>訓(xùn)練</b>瓶頸

    芯品# 高性能計算芯片

    Arm Neoverse基于CSS的CPU芯片組具有超高速接口和高級封裝,可為AI,HPC和網(wǎng)絡(luò)基礎(chǔ)設(shè)施提供可擴(kuò)展的性能 英國倫敦和加拿大多倫多-2024年6月6日- Alphawav
    的頭像 發(fā)表于 06-27 10:28 ?6903次閱讀

    開芯院發(fā)布全球首個開源大規(guī)模片上互聯(lián)網(wǎng)絡(luò)IP“溫榆河”

    2024年5月21日,北京開源芯片研究院(簡稱“開芯院”)通過線上會議的方式,向會員單位正式發(fā)布了全球首個開源大規(guī)模片上互聯(lián)網(wǎng)絡(luò)(NetworkonChip,NoC)IP——研發(fā)代號“溫榆河”。這一
    的頭像 發(fā)表于 06-04 08:37 ?11.7w次閱讀
    開芯院發(fā)布全球首個開源<b class='flag-5'>大規(guī)模</b>片上互聯(lián)網(wǎng)絡(luò)<b class='flag-5'>IP</b>“溫榆河”

    高性能計算集群的能耗優(yōu)化

    高性能計算(HighPerformanceComputing,HPC)是指利用大規(guī)模并行計算機(jī)集群來解決復(fù)雜的科學(xué)和工程問題的技術(shù)。高性能計算集群的應(yīng)用領(lǐng)域非常廣泛,包括天氣預(yù)報、生物信息學(xué)
    的頭像 發(fā)表于 05-25 08:27 ?337次閱讀
    <b class='flag-5'>高性能</b>計算集群的能耗優(yōu)化

    進(jìn)一步解讀英偉達(dá) Blackwell 架構(gòu)、NVlink及GB200 超級芯片

    GB200 超級芯片模塊組合而成,通過 Nvlink 鏈接,提供了超大規(guī)模的并行計算能力和極高的內(nèi)存帶寬,適用于大規(guī)模的 AI 訓(xùn)練、推理和高性能
    發(fā)表于 05-13 17:16

    構(gòu)建高性能計算芯片

    計算的異構(gòu)多核架構(gòu),對整個芯片行業(yè)的高性能 CPU 開發(fā)產(chǎn)生了影響。 這些芯片都不太可能進(jìn)行商業(yè)銷售。它們針對特定的數(shù)據(jù)類型和工作負(fù)載進(jìn)行了優(yōu)化,設(shè)計預(yù)算龐大,但可以通過提高性能和降低
    的頭像 發(fā)表于 04-25 10:23 ?1265次閱讀
    構(gòu)建<b class='flag-5'>高性能</b>計算<b class='flag-5'>芯片</b>

    名單公布!【書籍評測活動NO.30】大規(guī)模語言模型:從理論到實踐

    和強(qiáng)化學(xué)習(xí)展開,詳細(xì)介紹各階段使用的算法、數(shù)據(jù)、難點及實踐經(jīng)驗。 預(yù)訓(xùn)練階段需要利用包含數(shù)千億甚至數(shù)萬億單詞的訓(xùn)練數(shù)據(jù),并借助由數(shù)千塊高性能GPU 和高速網(wǎng)絡(luò)組成的超級計算機(jī),花費數(shù)十
    發(fā)表于 03-11 15:16

    Xilinx FPGA NVMe主機(jī)控制器IP,高性能版本介紹應(yīng)用

    獨立的數(shù)據(jù)寫入AXI4-Stream/FIFO接口和數(shù)據(jù)讀取AXI4-Stream/FIFO接口,非常適合于超高容量和超高性能的應(yīng)用。此外,NVMe Host Controller IP
    發(fā)表于 03-09 13:56

    晶晟微納發(fā)布N800超大規(guī)模AI算力芯片測試探針卡

    近日,上海韜盛科技旗下的蘇州晶晟微納宣布推出其最新研發(fā)的N800超大規(guī)模AI算力芯片測試探針卡。這款高性能探針卡采用了前沿的嵌入式合金納米堆疊技術(shù),旨在滿足當(dāng)前超大規(guī)模AI算力
    的頭像 發(fā)表于 03-04 13:59 ?870次閱讀

    【國產(chǎn)FPGA+OMAPL138開發(fā)板體驗】(原創(chuàng))6.FPGA連接ChatGPT 4

    方面。而且,由于ChatGPT 4是一個大型的語言模型。通常,F(xiàn)PGA會用于處理一些底層的數(shù)據(jù)流或執(zhí)行特定的硬件加速任務(wù),而ChatGPT 4這樣的模型則會在云端或高性能服務(wù)器上運行。不過
    發(fā)表于 02-14 21:58

    對話國產(chǎn)EDA和IP廠商,如何攻克大規(guī)模數(shù)字電路設(shè)計挑戰(zhàn)?

    芯片設(shè)計企業(yè)關(guān)注的焦點。作為芯片產(chǎn)業(yè)的根技術(shù)和硬科技,EDA和IP大規(guī)模數(shù)字電路設(shè)計中發(fā)揮著不可替代的作用,也是集成電路技術(shù)發(fā)展的重要助推器。其運用的好壞,決定著
    的頭像 發(fā)表于 12-28 08:23 ?1155次閱讀
    對話國產(chǎn)EDA和<b class='flag-5'>IP</b>廠商,如何攻克<b class='flag-5'>大規(guī)模</b>數(shù)字電路設(shè)計挑戰(zhàn)?

    態(tài)路小課堂丨InfiniBand與以太網(wǎng):AI時代的網(wǎng)絡(luò)差異

    今年以來,InfiniBand因其在AI領(lǐng)域中的應(yīng)用而備受矚目。 InfiniBand介紹 InfiniBand (也稱為“無限帶寬”,縮寫為IB)是一種高速網(wǎng)絡(luò)技術(shù),具有高性能、低延遲、可靠和靈活的數(shù)據(jù)傳輸功能,適用于要求高速
    的頭像 發(fā)表于 11-29 18:16 ?836次閱讀
    態(tài)路小課堂丨InfiniBand與以太網(wǎng):AI<b class='flag-5'>時代</b>的網(wǎng)絡(luò)差異

    國內(nèi)企業(yè)用SD-WAN加速訪問ChatGPT

    。 1.ChatGPT概述 ChatGPT是一種基于大規(guī)模預(yù)訓(xùn)練技術(shù)的對話生成模型。它采用Transformer網(wǎng)絡(luò)架構(gòu),在海量文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練
    的頭像 發(fā)表于 11-15 11:23 ?501次閱讀