來源:逍遙科技 逍遙設(shè)計自動化
簡介
隨著人工智能(AI)應(yīng)用的迅速發(fā)展,對大帶寬、高效率數(shù)據(jù)傳輸解決方案的需求日益突出。目前用于AI訓練和推理的成千上萬個GPU正面臨傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)方案所帶來的性能瓶頸。這些傳統(tǒng)方案增加了功耗和成本,凸顯了創(chuàng)新解決方案的迫切需求。
光I/O和光電共封裝(CPO)解決方案是最有前途的技術(shù)進展之一。通過優(yōu)化數(shù)據(jù)吞吐量和系統(tǒng)性能,促進了大型互聯(lián)AI集群的發(fā)展。這些光學I/O和光電共封裝解決方案需要創(chuàng)新和高度先進的激光封裝策略,以提高系統(tǒng)的性能、可擴展性和可靠性,這對于當前盈利的AI基礎(chǔ)設(shè)施部署非常重要。
硅基光電子中的激光封裝硅基光電子通過使用光信號而非電信號,改變了邏輯芯片和存儲芯片內(nèi)部及之間的數(shù)據(jù)傳輸方式。這一技術(shù)對針對生成式AI的部署變得越來越重要。傳統(tǒng)的基于銅的解決方案日益限制了這些系統(tǒng)的數(shù)據(jù)流,制約了計算設(shè)備和存儲容量的集群規(guī)模和數(shù)據(jù)速率。
可插拔光模塊一直是將電信號轉(zhuǎn)換為光信號(反之亦然)的最常見方法。CPO技術(shù)成功地將I/O模塊從面板上移開,將模塊組件與計算或交換芯片集成到一個封裝中。協(xié)同封裝將可插拔收發(fā)器的功能直接集成到應(yīng)用專用集成電路(ASIC)旁邊,減少了高帶寬下銅鏈路的信號損失。
光I/O為分布式計算系統(tǒng)(如需要高帶寬密度、低能耗和低互連延遲的AI集群)提供了一種更集成、更節(jié)能的解決方案。這是通過將單個電光芯片與計算ASIC封裝在一起來實現(xiàn)的,該芯片執(zhí)行由分立模塊構(gòu)建的收發(fā)器的發(fā)送、接收和數(shù)據(jù)轉(zhuǎn)換功能。
CPO和光學I/O解決方案可以使用集成或遠程光源為其協(xié)同封裝模塊或芯片提供光學輸入。讓我們來研究這兩種選擇,并探討它們的優(yōu)勢和權(quán)衡。
集成光源集成光源指的是光源與CPO模塊或光I/O芯片共同定位,靠近GPU或其他計算ASIC的方法。這可以通過將激光器單獨制造并與光電子集成芯片(PIC)共同封裝,或者與PIC單片集成制造來實現(xiàn)。另一方面,遠程光源(也稱為分離式或外部激光器)是獨立封裝的,與CPO模塊、光I/O芯片和ASIC物理分離。
現(xiàn)代AI系統(tǒng)需要非常高功耗的GPU或ASIC芯片,這會導致其周圍環(huán)境溫度很高。由于物理接近,集成光源會經(jīng)歷這些非常高的溫度,而使用遠程光源的系統(tǒng)可以設(shè)計為經(jīng)歷更好的熱環(huán)境。
激光器,特別是在先進數(shù)據(jù)速率所需的高輸出功率下,是光連接解決方案中在高溫下最容易失效的組件,可能會導致整個鏈路失效。遠程光源的優(yōu)勢在于其所處的熱環(huán)境要求較低,延長了其使用壽命,大大降低了故障率和系統(tǒng)停機時間。
此外,遠程激光器可以輕松移除、維修或更換,而不會干擾其他系統(tǒng)組件,如協(xié)同封裝的GPU和CPO或光I/O芯片。集成光源可能無法維修,或需要對昂貴的ASIC封裝進行重大修改,從而增加成本和系統(tǒng)停機時間。
業(yè)界已經(jīng)制定了外部激光器小型可插拔(ELSFP)規(guī)范,認識到了外部激光器的重要性。這種通用外形因子利用了可插拔模塊的可維修性、可更換性和易部署性優(yōu)勢,以及CPO解決方案的成本、延遲和信道損耗優(yōu)勢,同時將供應(yīng)商和客戶生態(tài)系統(tǒng)統(tǒng)一到一個單一的外形因子上。
需要考慮的因素從成本和可靠性的角度來看,光源通常是光連接解決方案中最敏感的組件。設(shè)計師和架構(gòu)師應(yīng)優(yōu)先考慮多樣化的供應(yīng)商和標準化的波長網(wǎng)格,如使用了二十多年的O波段LR4網(wǎng)格。這種方法確保了低設(shè)計和供應(yīng)風險,并建立了一個具有吸引力的大批量成本結(jié)構(gòu),這對于成功部署光學I/O重要。
連續(xù)波波分復用多源協(xié)議(CW-WDM MSA)匯集了廣泛的行業(yè)利益相關(guān)者,包括激光器供應(yīng)商、收發(fā)器制造商、CPO和光學I/O連接供應(yīng)商等,以促進解決方案之間的互操作性,減少對任何單一供應(yīng)商或技術(shù)的依賴。這種標準化努力對于支持AI、HPC和其他高價值、大批量應(yīng)用的解決方案重要。
遠程光源的作用AI技術(shù)的進步和大型語言模型(LLM)的指數(shù)級增長,要求在計算和存儲元素之間有新的數(shù)據(jù)傳輸解決方案,來適應(yīng)模型規(guī)模和令牌數(shù)量的指數(shù)級增長。遠程光源是解決這些瓶頸的光學I/O解決方案的關(guān)鍵使能技術(shù)。
傳統(tǒng)的網(wǎng)絡(luò)系統(tǒng)在大型系統(tǒng)內(nèi)部的連接高度依賴交換機,這會引入延遲并限制高帶寬域的大小。光學I/O解決方案中通常具有的多波長、多端口功能使得在多個設(shè)備之間提供直接、低延遲、高帶寬的連接成為可能。這種方法通過消除交換機簡化了系統(tǒng)架構(gòu),提高了網(wǎng)絡(luò)中數(shù)據(jù)交換的速度和可擴展性,從而增加了高帶寬域的大小。
AI架構(gòu)中最大的挑戰(zhàn)之一是"內(nèi)存墻",即快速增加的內(nèi)存與計算比率導致操作效率受到與處理器芯片一起封裝的高帶寬內(nèi)存(HBM)數(shù)量的限制。當遠程光源作為光I/O解決方案的一部分時,通過啟用通過超低延遲、高帶寬鏈路連接到GPU的分離式內(nèi)存集群,緩解了這一瓶頸。
激光封裝技術(shù)現(xiàn)在是克服阻礙AI潛力發(fā)揮的瓶頸的關(guān)鍵構(gòu)建塊。遠程光源在這一進程中發(fā)揮著重要作用,為未來AI系統(tǒng)的發(fā)展提供了強有力的支持。
參考來源
https://www.lightwaveonline.com/home/article/55131827/the-role-of-laser-packaging-in-advancing-ai-technologies?utm_content=303385105&utm_medium=social&utm_source=linkedin&hss_channel=lcp-6627049
【近期會議】
10月30-31日,由寬禁帶半導體國家工程研究中心主辦的“化合物半導體先進技術(shù)及應(yīng)用大會”將首次與大家在江蘇·常州相見,邀您齊聚常州新城希爾頓酒店,解耦產(chǎn)業(yè)鏈市場布局!https://w.lwc.cn/s/uueAru
11月28-29日,“第二屆半導體先進封測產(chǎn)業(yè)技術(shù)創(chuàng)新大會”將再次與各位相見于廈門,秉承“延續(xù)去年,創(chuàng)新今年”的思想,仍將由云天半導體與廈門大學聯(lián)合主辦,雅時國際商訊承辦,邀您齊聚廈門·海滄融信華邑酒店共探行業(yè)發(fā)展!誠邀您報名參會:https://w.lwc.cn/s/n6FFne
聲明:本網(wǎng)站部分文章轉(zhuǎn)載自網(wǎng)絡(luò),轉(zhuǎn)發(fā)僅為更大范圍傳播。 轉(zhuǎn)載文章版權(quán)歸原作者所有,如有異議,請聯(lián)系我們修改或刪除。聯(lián)系郵箱:viviz@actintl.com.hk, 電話:0755-25988573
審核編輯 黃宇
-
激光
+關(guān)注
關(guān)注
19文章
3098瀏覽量
64311 -
封裝
+關(guān)注
關(guān)注
126文章
7731瀏覽量
142608 -
人工智能
+關(guān)注
關(guān)注
1790文章
46671瀏覽量
237111
發(fā)布評論請先 登錄
相關(guān)推薦
評論