行業(yè)資訊 I 如何建立一個數(shù)據(jù)中心：全靠 SerDes和散熱

我們可能不需要建立一個數(shù)據(jù)中心，但很可能會參與設(shè)計(jì)用于數(shù)據(jù)中心的芯片；或者在關(guān)注數(shù)據(jù)中心的 IP；或者擔(dān)心先進(jìn)節(jié)點(diǎn)設(shè)計(jì)工具的某些方面，其中大部分會發(fā)生在數(shù)據(jù)中心。因此，很有必要簡單了解現(xiàn)代數(shù)據(jù)中心的組成。

幾十年來，設(shè)計(jì)芯片的最大變化之一是從低速并行接口轉(zhuǎn)到高速串行接口。對于長距離的廣域網(wǎng) (WAN)，我們一直使用串行接口，因?yàn)樵谌珖蛉澜绶秶鷥?nèi)鋪設(shè)大量電線是十分昂貴的。這些接口通常通過電信公司提供的 56kbps 或 64kbps 的線路運(yùn)行；或者如果預(yù)算充足，可以使用 1.5Mb/s 的 T1 線路。如今，長途信令幾乎都是用光纖完成的，數(shù)據(jù)速率越來越高。有時是點(diǎn)對點(diǎn)傳輸，數(shù)據(jù)中心所有者擁有自己的光纖；或者可能只是通過一個互聯(lián)網(wǎng)網(wǎng)絡(luò)服務(wù)提供商的節(jié)點(diǎn)，訪問公共網(wǎng)絡(luò)，或者搭上互聯(lián)網(wǎng)主干網(wǎng)絡(luò)，從 A 傳輸?shù)?B。

在 20 世紀(jì) 70 年代末，局域網(wǎng) (LAN) 開始普及，使用以太網(wǎng)或各種環(huán)形技術(shù)（阿波羅飛船和劍橋大學(xué)都使用過令牌環(huán) (Token Ring)）。但電路板上的芯片使用了大量的引腳，有時為了降低成本而進(jìn)行多路復(fù)用。這些信號速度相對較慢。事實(shí)上，它們實(shí)在太慢了，以至于當(dāng)速度變快時，我們竟然需要擔(dān)心封裝引腳的電感。但是，即使發(fā)明了具有更多引腳的球柵陣列 (BGA)，引腳仍然不夠用，特別是當(dāng)總線從 16 位發(fā)展到 32 位，再到 64 位，甚至更寬時。解決辦法是在單個（或幾個）引腳上運(yùn)行每個數(shù)據(jù)流，這就是被稱為 SerDes（串行器-解串器）的超快速串行接口。信號在芯片上是并行的，但串行器將作為一個串行比特流傳輸，在信號的另一端，解串器將進(jìn)行復(fù)雜的均衡，以恢復(fù)時鐘和數(shù)據(jù)，然后將其并行化。

從通信的角度來看，數(shù)據(jù)中心信號中最重要的兩項(xiàng)技術(shù)是 PCI Express (PCIe) 和以太網(wǎng)。還有 CXL (Compute eXpress Link)，以及 CCIX（發(fā)音同 "see six"），即用于 Xccelerators（加速器）的 Cache Coherent Interconnect，但由于這些都是基于 PCIe 作為底層物理傳輸技術(shù)，并不需要特別關(guān)注。

PCIe 和以太網(wǎng)都是串行通信技術(shù)。這兩種網(wǎng)絡(luò)技術(shù)在長達(dá)數(shù)年的發(fā)展過程中都推出了各種版本。

我們現(xiàn)在處于 PCIe 5.0 時代，PCIe 6.0 預(yù)計(jì)將在今年年底前正式標(biāo)準(zhǔn)化，詳情請參見文章《行業(yè)洞察 I PCIe 發(fā)展史：PCIe 6.0 時代即將來臨》。目前的 5.0 版本和即將到來的 6.0 版本之間的最大變化是將 NZR 信號（每個時鐘周期一個比特）切換到 PAM4（每個時鐘周期兩個比特），這與 112G SerDes 中使用的技術(shù)相同。

以太網(wǎng)起源于 20 世紀(jì) 70 年代中期施樂公司帕洛阿爾托研究中心 (PARC)，最初的速率是 3Mb/s。第一個商業(yè)以太網(wǎng)標(biāo)準(zhǔn)達(dá)到 10Mb/s。我認(rèn)為人們?nèi)缃駥?shí)際使用的最慢的以太網(wǎng)是 10G（所以是 10Gb/s），但最快的是 400G，而 800G 未來可期。關(guān)于以太網(wǎng)的歷史，請閱讀文章《行業(yè)洞察 I 一文了解車載以太網(wǎng)及其設(shè)計(jì)》。

這兩種技術(shù)都使用多個串行信號，從芯片傳輸?shù)骄W(wǎng)絡(luò)。PCIe 可以在一個 PCIe 插槽中使用 1、4、8 或 16 條通道。使用高速光纖的超過 100G 的高性能以太網(wǎng)需要多個串行信號。即將推出的PCIe 6.0和當(dāng)前及未來版本的 100+G 以太網(wǎng)都需要 112G SerDes 接口來連接硅片。224G 接口已有傳聞并正在開發(fā)中，但還沒有上市。

在數(shù)據(jù)中心內(nèi)，信號越來越多地使用光學(xué)技術(shù)在服務(wù)器、路由器、附加存儲和其他“盒子”之間傳輸。在每個盒子里，信號在傳統(tǒng)的印刷電路板走線、連接器和電纜上傳輸。

散熱

數(shù)據(jù)中心的另一個重大挑戰(zhàn)是散熱。在一個數(shù)據(jù)中心的生命周期內(nèi)，運(yùn)營開支加起來就超過了購買數(shù)據(jù)中心所需的資本開支。運(yùn)營開支有兩個大頭：所有設(shè)備的電力開支，以及所有為了讓熱量再次排出的空調(diào)的電力開支。這需要對數(shù)據(jù)中心內(nèi)部的氣流進(jìn)行專門設(shè)計(jì)，但也需要盡可能降低芯片的功耗，以便它們不會產(chǎn)生多余的熱量，而且能通過風(fēng)扇、散熱器、散熱管——甚至有時要通過水冷進(jìn)行充分冷卻。

為此，Cadence 提供了專門用于電氣系統(tǒng)熱分析的工具——Celsius Thermal Solver。Celsius Thermal Solver是 Cadence推出的業(yè)內(nèi)首款用于完整電熱協(xié)同仿真系統(tǒng)分析的熱求解器，經(jīng)過生產(chǎn)驗(yàn)證，大規(guī)模并行架構(gòu)可在不犧牲精度的前提下，提供比傳統(tǒng)解決方案加快10倍的性能。基于此架構(gòu)，Celsius Thermal Solver能夠與Cadence IC、封裝和PCB設(shè)計(jì)實(shí)現(xiàn)平臺無縫集成，不僅使新的系統(tǒng)分析和設(shè)計(jì)預(yù)測成為可能，而且還幫助電子設(shè)計(jì)團(tuán)隊(duì)在設(shè)計(jì)早期發(fā)現(xiàn)并解決熱設(shè)計(jì)問題，縮短電子系統(tǒng)的開發(fā)迭代周期。