0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

激光封裝技術(shù)在人工智能發(fā)展中的作用

半導體芯科技SiSC ? 來源:逍遙科技 逍遙設(shè)計自動化 ? 作者:逍遙科技 逍遙設(shè)計 ? 2024-08-20 16:42 ? 次閱讀

來源:逍遙科技 逍遙設(shè)計自動化

簡介

隨著人工智能AI)應(yīng)用的迅速發(fā)展,對大帶寬、高效率數(shù)據(jù)傳輸解決方案的需求日益突出。目前用于AI訓練和推理的成千上萬個GPU正面臨傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)方案所帶來的性能瓶頸。這些傳統(tǒng)方案增加了功耗和成本,凸顯了創(chuàng)新解決方案的迫切需求。
光I/O和光電共封裝(CPO)解決方案是最有前途的技術(shù)進展之一。通過優(yōu)化數(shù)據(jù)吞吐量和系統(tǒng)性能,促進了大型互聯(lián)AI集群的發(fā)展。這些光學I/O和光電共封裝解決方案需要創(chuàng)新和高度先進的激光封裝策略,以提高系統(tǒng)的性能、可擴展性和可靠性,這對于當前盈利的AI基礎(chǔ)設(shè)施部署非常重要。

wKgaombEVu-AYMvjAABUUhzoDpE645.jpg

硅基光電子中的激光封裝硅基光電子通過使用光信號而非電信號,改變了邏輯芯片和存儲芯片內(nèi)部及之間的數(shù)據(jù)傳輸方式。這一技術(shù)對針對生成式AI的部署變得越來越重要。傳統(tǒng)的基于銅的解決方案日益限制了這些系統(tǒng)的數(shù)據(jù)流,制約了計算設(shè)備和存儲容量的集群規(guī)模和數(shù)據(jù)速率。
可插拔光模塊一直是將電信號轉(zhuǎn)換為光信號(反之亦然)的最常見方法。CPO技術(shù)成功地將I/O模塊從面板上移開,將模塊組件與計算或交換芯片集成到一個封裝中。協(xié)同封裝將可插拔收發(fā)器的功能直接集成到應(yīng)用專用集成電路ASIC)旁邊,減少了高帶寬下銅鏈路的信號損失。
光I/O為分布式計算系統(tǒng)(如需要高帶寬密度、低能耗和低互連延遲的AI集群)提供了一種更集成、更節(jié)能的解決方案。這是通過將單個電光芯片與計算ASIC封裝在一起來實現(xiàn)的,該芯片執(zhí)行由分立模塊構(gòu)建的收發(fā)器的發(fā)送、接收和數(shù)據(jù)轉(zhuǎn)換功能。

CPO和光學I/O解決方案可以使用集成或遠程光源為其協(xié)同封裝模塊或芯片提供光學輸入。讓我們來研究這兩種選擇,并探討它們的優(yōu)勢和權(quán)衡。
集成光源集成光源指的是光源與CPO模塊或光I/O芯片共同定位,靠近GPU或其他計算ASIC的方法。這可以通過將激光器單獨制造并與光電子集成芯片(PIC)共同封裝,或者與PIC單片集成制造來實現(xiàn)。另一方面,遠程光源(也稱為分離式或外部激光器)是獨立封裝的,與CPO模塊、光I/O芯片和ASIC物理分離。
現(xiàn)代AI系統(tǒng)需要非常高功耗的GPU或ASIC芯片,這會導致其周圍環(huán)境溫度很高。由于物理接近,集成光源會經(jīng)歷這些非常高的溫度,而使用遠程光源的系統(tǒng)可以設(shè)計為經(jīng)歷更好的熱環(huán)境。
激光器,特別是在先進數(shù)據(jù)速率所需的高輸出功率下,是光連接解決方案中在高溫下最容易失效的組件,可能會導致整個鏈路失效。遠程光源的優(yōu)勢在于其所處的熱環(huán)境要求較低,延長了其使用壽命,大大降低了故障率和系統(tǒng)停機時間。
此外,遠程激光器可以輕松移除、維修或更換,而不會干擾其他系統(tǒng)組件,如協(xié)同封裝的GPU和CPO或光I/O芯片。集成光源可能無法維修,或需要對昂貴的ASIC封裝進行重大修改,從而增加成本和系統(tǒng)停機時間。
業(yè)界已經(jīng)制定了外部激光器小型可插拔(ELSFP)規(guī)范,認識到了外部激光器的重要性。這種通用外形因子利用了可插拔模塊的可維修性、可更換性和易部署性優(yōu)勢,以及CPO解決方案的成本、延遲和信道損耗優(yōu)勢,同時將供應(yīng)商和客戶生態(tài)系統(tǒng)統(tǒng)一到一個單一的外形因子上。

wKgZombEVvGAHNGzAACdSKpa5vk959.jpg

需要考慮的因素從成本和可靠性的角度來看,光源通常是光連接解決方案中最敏感的組件。設(shè)計師和架構(gòu)師應(yīng)優(yōu)先考慮多樣化的供應(yīng)商和標準化的波長網(wǎng)格,如使用了二十多年的O波段LR4網(wǎng)格。這種方法確保了低設(shè)計和供應(yīng)風險,并建立了一個具有吸引力的大批量成本結(jié)構(gòu),這對于成功部署光學I/O重要。
連續(xù)波波分復用多源協(xié)議(CW-WDM MSA)匯集了廣泛的行業(yè)利益相關(guān)者,包括激光器供應(yīng)商、收發(fā)器制造商、CPO和光學I/O連接供應(yīng)商等,以促進解決方案之間的互操作性,減少對任何單一供應(yīng)商或技術(shù)的依賴。這種標準化努力對于支持AI、HPC和其他高價值、大批量應(yīng)用的解決方案重要。
遠程光源的作用AI技術(shù)的進步和大型語言模型(LLM)的指數(shù)級增長,要求在計算和存儲元素之間有新的數(shù)據(jù)傳輸解決方案,來適應(yīng)模型規(guī)模和令牌數(shù)量的指數(shù)級增長。遠程光源是解決這些瓶頸的光學I/O解決方案的關(guān)鍵使能技術(shù)。
傳統(tǒng)的網(wǎng)絡(luò)系統(tǒng)在大型系統(tǒng)內(nèi)部的連接高度依賴交換機,這會引入延遲并限制高帶寬域的大小。光學I/O解決方案中通常具有的多波長、多端口功能使得在多個設(shè)備之間提供直接、低延遲、高帶寬的連接成為可能。這種方法通過消除交換機簡化了系統(tǒng)架構(gòu),提高了網(wǎng)絡(luò)中數(shù)據(jù)交換的速度和可擴展性,從而增加了高帶寬域的大小。
AI架構(gòu)中最大的挑戰(zhàn)之一是"內(nèi)存墻",即快速增加的內(nèi)存與計算比率導致操作效率受到與處理器芯片一起封裝的高帶寬內(nèi)存(HBM)數(shù)量的限制。當遠程光源作為光I/O解決方案的一部分時,通過啟用通過超低延遲、高帶寬鏈路連接到GPU的分離式內(nèi)存集群,緩解了這一瓶頸。
激光封裝技術(shù)現(xiàn)在是克服阻礙AI潛力發(fā)揮的瓶頸的關(guān)鍵構(gòu)建塊。遠程光源在這一進程中發(fā)揮著重要作用,為未來AI系統(tǒng)的發(fā)展提供了強有力的支持。
參考來源
https://www.lightwaveonline.com/home/article/55131827/the-role-of-laser-packaging-in-advancing-ai-technologies?utm_content=303385105&utm_medium=social&utm_source=linkedin&hss_channel=lcp-6627049

【近期會議】

10月30-31日,由寬禁帶半導體國家工程研究中心主辦的“化合物半導體先進技術(shù)及應(yīng)用大會”將首次與大家在江蘇·常州相見,邀您齊聚常州新城希爾頓酒店,解耦產(chǎn)業(yè)鏈市場布局!https://w.lwc.cn/s/uueAru

11月28-29日,“第二屆半導體先進封測產(chǎn)業(yè)技術(shù)創(chuàng)新大會”將再次與各位相見于廈門,秉承“延續(xù)去年,創(chuàng)新今年”的思想,仍將由云天半導體與廈門大學聯(lián)合主辦,雅時國際商訊承辦,邀您齊聚廈門·海滄融信華邑酒店共探行業(yè)發(fā)展!誠邀您報名參會:https://w.lwc.cn/s/n6FFne

聲明:本網(wǎng)站部分文章轉(zhuǎn)載自網(wǎng)絡(luò),轉(zhuǎn)發(fā)僅為更大范圍傳播。 轉(zhuǎn)載文章版權(quán)歸原作者所有,如有異議,請聯(lián)系我們修改或刪除。聯(lián)系郵箱:viviz@actintl.com.hk, 電話:0755-25988573

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 激光
    +關(guān)注

    關(guān)注

    19

    文章

    3098

    瀏覽量

    64311
  • 封裝
    +關(guān)注

    關(guān)注

    126

    文章

    7731

    瀏覽量

    142608
  • 人工智能
    +關(guān)注

    關(guān)注

    1790

    文章

    46671

    瀏覽量

    237111
收藏 人收藏

    評論

    相關(guān)推薦

    soc人工智能的創(chuàng)新應(yīng)用

    社會計算(Social Computing, SOC)是一個跨學科領(lǐng)域,它結(jié)合了社會科學、計算機科學和人工智能,以理解和設(shè)計社會互動技術(shù)系統(tǒng)。隨著人工智能(AI)
    的頭像 發(fā)表于 11-10 09:30 ?180次閱讀

    LLM技術(shù)人工智能發(fā)展的影響

    。 一、LLM技術(shù)人工智能領(lǐng)域的應(yīng)用 自然語言處理(NLP) LLM技術(shù)自然語言處理領(lǐng)域發(fā)揮著重要
    的頭像 發(fā)表于 11-08 09:28 ?209次閱讀

    智慧城市可持續(xù)發(fā)展中的應(yīng)用

    智慧城市可持續(xù)發(fā)展中的應(yīng)用體現(xiàn)在多個方面,它利用大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等先進技術(shù),實現(xiàn)城市資源的高效利用、環(huán)境的保護、社會的包容性和經(jīng)濟的可持續(xù)
    的頭像 發(fā)表于 10-24 15:25 ?420次閱讀

    《AI for Science:人工智能驅(qū)動科學創(chuàng)新》第6章人AI與能源科學讀后感

    不僅提高了能源的生產(chǎn)效率和管理水平,還為未來的可持續(xù)發(fā)展提供了有力保障。隨著技術(shù)的不斷進步和應(yīng)用場景的不斷拓展,人工智能將在能源科學領(lǐng)域發(fā)揮更加重要的作用。 總結(jié) 《AI for Sc
    發(fā)表于 10-14 09:27

    AI for Science:人工智能驅(qū)動科學創(chuàng)新》第4章-AI與生命科學讀后感

    。 4. 對未來生命科學發(fā)展的展望 閱讀這一章后,我對未來生命科學的發(fā)展充滿了期待。我相信,人工智能技術(shù)的推動下,生命科學將取得更加顯著
    發(fā)表于 10-14 09:21

    《AI for Science:人工智能驅(qū)動科學創(chuàng)新》第二章AI for Science的技術(shù)支撐學習心得

    ,推動科學研究的深入發(fā)展。 總結(jié) 通過閱讀《AI for Science:人工智能驅(qū)動科學創(chuàng)新》第二章,我對AI for Science的技術(shù)支撐有了更加全面和深入的理解。我深刻認識到AI
    發(fā)表于 10-14 09:16

    《AI for Science:人工智能驅(qū)動科學創(chuàng)新》第一章人工智能驅(qū)動的科學創(chuàng)新學習心得

    ,無疑為讀者鋪設(shè)了一條探索人工智能(AI)如何深刻影響并推動科學創(chuàng)新的道路。閱讀這一章后,我深刻感受到了人工智能技術(shù)科學領(lǐng)域的廣泛應(yīng)用潛力以及其帶來的革命性變化,以下是我個人的學習
    發(fā)表于 10-14 09:12

    risc-v人工智能圖像處理應(yīng)用前景分析

    、RISC-V人工智能圖像處理的應(yīng)用案例 目前,已有多個案例展示了RISC-V人工智能圖像處理
    發(fā)表于 09-28 11:00

    名單公布!【書籍評測活動NO.44】AI for Science:人工智能驅(qū)動科學創(chuàng)新

    大力發(fā)展AI for Science的原因。 第2章從科學研究底層的理論模式與主要困境,以及人工智能三要素(數(shù)據(jù)、算法、算力)出發(fā),對AI for Science的技術(shù)支撐進行解讀。 第3章介紹了
    發(fā)表于 09-09 13:54

    報名開啟!深圳(國際)通用人工智能大會將啟幕,國內(nèi)外大咖齊聚話AI

    呈現(xiàn)、產(chǎn)業(yè)展覽、技術(shù)交流、學術(shù)論壇于一體的世界級人工智能合作交流平臺。本次大會暨博覽會由工業(yè)和信息化部政府采購中心、廣東省工商聯(lián)、前海合作區(qū)管理局、深圳市工信局等單位指導,深圳市人工智能產(chǎn)業(yè)協(xié)會主辦
    發(fā)表于 08-22 15:00

    FPGA人工智能的應(yīng)用有哪些?

    定制化的硬件設(shè)計,提高了硬件的靈活性和適應(yīng)性。 綜上所述,F(xiàn)PGA人工智能領(lǐng)域的應(yīng)用前景廣闊,不僅可以用于深度學習的加速和云計算的加速,還可以針對特定應(yīng)用場景進行定制化計算,為人工智能技術(shù)
    發(fā)表于 07-29 17:05

    人工智能技術(shù)集成電路的應(yīng)用

    隨著科技的飛速發(fā)展,人工智能(AI)與集成電路技術(shù)已成為推動現(xiàn)代電子工業(yè)進步的重要力量。兩者相輔相成,共同推動著電子產(chǎn)品的智能化、高效化和可靠化。本文將從多個角度詳細探討
    的頭像 發(fā)表于 07-15 09:43 ?1870次閱讀

    NLP技術(shù)人工智能領(lǐng)域的重要性

    自然語言處理(Natural Language Processing, NLP)與人工智能(Artificial Intelligence, AI)的交織發(fā)展中,NLP技術(shù)作為連接人
    的頭像 發(fā)表于 07-04 16:03 ?396次閱讀

    嵌入式人工智能的就業(yè)方向有哪些?

    于工業(yè)、農(nóng)業(yè)、醫(yī)療、城市建設(shè)、金融、航天軍工等多個領(lǐng)域。新時代發(fā)展背景下,嵌入式人工智能已是大勢所趨,成為當前最熱門的AI商業(yè)化途徑之一。
    發(fā)表于 02-26 10:17

    語音數(shù)據(jù)集人工智能的應(yīng)用與挑戰(zhàn)

    一、引言 隨著人工智能技術(shù)的快速發(fā)展,語音數(shù)據(jù)集各種應(yīng)用中發(fā)揮著越來越重要的作用。語音數(shù)據(jù)集是AI語音技術(shù)的基石,對于語音識別、語音合成、
    的頭像 發(fā)表于 12-14 15:00 ?633次閱讀