平衡高能物理界的性能和需求

高能物理社區(qū)利用 PICMG 的 MicroTCA.4 硬件標(biāo)準(zhǔn)在 DESY 等粒子加速器上進(jìn)行定時(shí)和同步、數(shù)據(jù)采集和控制。但隨著這些研究中心實(shí)驗(yàn)的推進(jìn)，支持系統(tǒng)的性能必須不斷發(fā)展。MicroTCA 等標(biāo)準(zhǔn)如何支持前沿用例的需求并保持適用于更廣泛的市場(chǎng)？

位于漢堡的 DESY 研究中心擁有 PETRA 等圓形加速器和世界上最長(zhǎng)的線性粒子加速器 2.1 英里 XFEL。這些系統(tǒng)用于研究量子粒子、薄膜化學(xué)反應(yīng)、繪制 COVID-19 等病毒結(jié)構(gòu)圖等物理實(shí)驗(yàn)。

說(shuō)支持這些加速器的電子設(shè)備很復(fù)雜是輕描淡寫的。例如，XFEL 每秒 10 次以 4.5 MHz 的重復(fù)頻率產(chǎn)生 2，700 個(gè) X 射線脈沖（圖 1）。這意味著激光每秒發(fā)射 27，000 個(gè)脈沖，其亮度比傳統(tǒng) X 射線高出多個(gè)數(shù)量級(jí)。成像探測(cè)器從這些爆炸中捕獲 10 GBps 的數(shù)據(jù)，以支持測(cè)量小至 0.05 nm 的原子級(jí)波長(zhǎng)并需要飛秒分辨率的實(shí)驗(yàn)。

［圖 1. XFEL X 射線以 4.5 MHz 的重復(fù)頻率產(chǎn)生 2，700 個(gè) X 射線脈沖，每秒 10 次。］

管理 XFEL、Karabo 的控制系統(tǒng)由 DESY 工程師內(nèi)部開發(fā)。但 Karabo 靈敏的計(jì)時(shí)、測(cè)量和前端數(shù)據(jù)采集平臺(tái)背后的快速電子設(shè)備是一個(gè)開放的行業(yè)標(biāo)準(zhǔn)：MicroTCA.4 （μTCA.4）。

“XFEL 完全由 μTCA 控制——所有快速電子設(shè)備，”負(fù)責(zé)圍繞 μTCA 標(biāo)準(zhǔn)化 DESY 加速器控制系統(tǒng)的工程師 Kay Rehlich 說(shuō)?！斑€有很多其他系統(tǒng)涉及較慢的東西，但快速動(dòng)態(tài)光束的東西，如高精度定時(shí)、機(jī)器保護(hù)、診斷和射頻——所有這些都是在 μTCA 中完成的?！?/p>

有超過(guò) 35 μTCA.4 系統(tǒng)分布在 XFEL 數(shù)英里長(zhǎng)的范圍內(nèi)。μTCA 平臺(tái)最初設(shè)計(jì)為電信級(jí)解決方案，由于集成了可靠性功能，如遠(yuǎn)程監(jiān)控和控制、自動(dòng)故障檢測(cè)以及冗余冷卻和電源，因此可以 24/7 全天候運(yùn)行一年或更長(zhǎng)時(shí)間。

μTCA 機(jī)箱接受稱為 AdvancedMC （AMC） 的插卡，它支持一系列模塊化功能。在 DESY，AMC 托管用于數(shù)字化、同步和處理數(shù)據(jù)的 FPGA。然后數(shù)據(jù)通過(guò)背板的高速 PCIe 和以太網(wǎng)互連發(fā)送到系統(tǒng)外，以控制服務(wù)器和其他設(shè)備。

對(duì)于高能物理應(yīng)用的更具體需求，.4 擴(kuò)展還支持特殊的時(shí)鐘和觸發(fā)拓?fù)洹Ｔ?XFEL 定時(shí)系統(tǒng)中，這提供了參考頻率來(lái)調(diào)整采樣率并確定性地分布 X 射線激光器的脈沖模式信息。

μTCA 基本規(guī)范中不存在的后轉(zhuǎn)換模塊 （RTM） 插入機(jī)箱背面的 AMC 對(duì)面，以支持物理應(yīng)用的額外 I/O 要求（圖 3）。

［圖 3. MicroTCA.4 擴(kuò)展規(guī)范添加了以物理為中心的功能，例如支持額外 I/O 的后轉(zhuǎn)換模塊 （RTM）。］

MicroTCA，滿足現(xiàn)代要求

盡管該系統(tǒng)非常復(fù)雜，但時(shí)間在流逝，XFEL 是在 10 多年前設(shè)計(jì)和實(shí)施的。這包括成像探測(cè)器，它每秒拍攝加速器的 27，000 個(gè) X 射線脈沖。

“驅(qū)動(dòng)數(shù)據(jù)最多的系統(tǒng)是大型 2D 圖像探測(cè)器，它們基本上拍攝 X 射線圖像，”負(fù)責(zé)歐洲 XFEL 加速器的電子和電氣工程組負(fù)責(zé)人 Patrick Gessler 博士說(shuō)?！斑@些探測(cè)器一次只能拍攝 350 到 800 張圖像，但它們?nèi)阅墚a(chǎn)生大約 10 GBps 的數(shù)據(jù)。

“我們已經(jīng)無(wú)法可視化在 10 赫茲周期內(nèi)生成的數(shù)百?gòu)垐D像，”Gessler 解釋說(shuō)?！艾F(xiàn)在新的 3D 技術(shù)即將面世。這自然意味著我們必須處理越來(lái)越多的數(shù)據(jù)。

“還有不同種類的檢測(cè)器，稱為 0D 檢測(cè)器，它們只是具有多個(gè)通道的 ADC 或數(shù)字化儀，”他繼續(xù)說(shuō)道?！澳壳?，我們擁有高達(dá) 10 GSps 的數(shù)字化儀系統(tǒng)，但實(shí)驗(yàn)者希望超越這一點(diǎn)，并在很多很多通道上擁有更高的垂直分辨率?！?/p>

數(shù)據(jù)不會(huì)在 μTCA 機(jī)箱中收集，只是數(shù)字化并傳輸?shù)酵泄芊?wù)器，來(lái)自世界各地的科學(xué)家可以在那里對(duì)其進(jìn)行分析。但是 μTCA 是端到端系統(tǒng)中的一個(gè)數(shù)據(jù)管道——當(dāng) DESY 安裝可能需要 TBps 傳輸速度的下一代探測(cè)器時(shí)，它可能會(huì)爆裂。

“我們?cè)?μTCA 系統(tǒng)中使用 CPU 來(lái)控制 AMC，同時(shí)也從它們那里獲取數(shù)據(jù)。我們進(jìn)行一些預(yù)處理，然后將其發(fā)送出去，如果是數(shù)據(jù)，通常通過(guò) 10 GbE 或 1 GbE 進(jìn)入控制系統(tǒng)，”Gessler 繼續(xù)說(shuō)道?！斑@意味著目前的瓶頸是 10 GbE，因?yàn)樗俏覀儚?μTCA 板條箱中獲得的最高速度?！?/p>

當(dāng)標(biāo)準(zhǔn)不是那么簡(jiǎn)單時(shí)

μTCA 基本規(guī)范的 2.0 版目前支持 40GBASE-KR4，以通過(guò)背板提供峰值 40 Gbps 數(shù)據(jù)傳輸。但是 40GBASE-KR4 只是四個(gè) 10GBASE-KR 通道的集合，因此從端口密度的角度來(lái)看，它實(shí)際上并沒(méi)有提高帶寬。

這并不意味著沒(méi)有選擇。例如，英特爾今年早些時(shí)候終于在其第 11 代芯片組上發(fā)布了對(duì) PCIe Gen 4 的支持，該芯片組在 16 條通道上提供高達(dá) 32 GBps 的數(shù)據(jù)傳輸。五年多來(lái)，25GBASE-T 通道已組合形成 100 GbE AdvancedTCA 系統(tǒng)，即 μTCA 的老大哥。在電氣背板技術(shù)方面，這些技術(shù)都不是最先進(jìn)的：

PCIe Gen 5 規(guī)范于 2019 年完成

2014 年 IEEE 標(biāo)準(zhǔn)化 100 Gbps 銅跡線以太網(wǎng)

PAM4 信令現(xiàn)已在能夠以 56 Gbps 和 112 Gbps 數(shù)據(jù)速率傳輸 PCIe 或以太網(wǎng)信號(hào)的互連解決方案中商用。

根據(jù) Rehlich 的說(shuō)法，DESY 及其合作伙伴目前正在運(yùn)行模擬，并且“非常確定我們可以使用 4 個(gè) 25 Gbps 通道和 PCIe Gen 4 實(shí)現(xiàn) 100 GbE”。從表面上看，這將在不完全修改 μTCA 標(biāo)準(zhǔn)的情況下提供一定程度的帶寬緩解。但這只是表面。

“如果您想要更快的通信，無(wú)論是 PCI Express Gen 4 或 5 還是 100G 以太網(wǎng)，您都需要控制所有 μTCA 通信的板條箱中的開關(guān)，”Rehlich 解釋說(shuō)?！斑@些將消耗比我們現(xiàn)在在定義的每個(gè) AMC 插槽 80 W 中所能提供的更多的功率。”

研究中心的工程師正在考慮將 μTCA 系統(tǒng)總功耗增加一倍至 2 kW。這不僅可以實(shí)現(xiàn)網(wǎng)絡(luò)交換，還可以使用可用于執(zhí)行 AI 的高性能 FPGA 和 GPU 計(jì)算解決方案。

然而，這就是事情開始瓦解的地方。第一個(gè)問(wèn)題是這些更高性能的計(jì)算和連接解決方案產(chǎn)生的串?dāng)_會(huì)對(duì)更敏感的車載電子設(shè)備產(chǎn)生負(fù)面影響。

“如果我們還想將它用于非常敏感的信號(hào)，我不確定μTCA 板條箱中有多少處理和超高速系統(tǒng)是有價(jià)值的，”Gessler 說(shuō)。“我們?cè)诎鍡l箱中直接安裝了數(shù)字化儀，可以接收敏感的低壓模擬信號(hào)。風(fēng)險(xiǎn)可能是，如果你將非常強(qiáng)大的計(jì)算系統(tǒng)與非常高的速度和許多非常敏感的信號(hào)結(jié)合在一個(gè)非常緊湊的機(jī)箱上，你最終可能會(huì)妥協(xié)其中一個(gè)，對(duì)嗎？”

所有這些都應(yīng)該在同一個(gè)系統(tǒng)中嗎？更進(jìn)一步，對(duì)于這個(gè)用例來(lái)說(shuō)，標(biāo)準(zhǔn)甚至是正確的選擇嗎？

當(dāng)標(biāo)準(zhǔn)成熟時(shí)：平衡市場(chǎng)需求

DESY 的情況是行業(yè)標(biāo)準(zhǔn)的少數(shù)缺點(diǎn)之一，即需要達(dá)成某種程度的共識(shí)。一般來(lái)說(shuō)，推動(dòng)行業(yè)標(biāo)準(zhǔn)達(dá)成共識(shí)的是市場(chǎng)。對(duì)接誰(shuí)的市場(chǎng)？

μTCA 標(biāo)準(zhǔn)服務(wù)于具有較長(zhǎng)生命周期要求的市場(chǎng)，例如工業(yè)控制、網(wǎng)絡(luò)基礎(chǔ)設(shè)施以及測(cè)試和測(cè)量。更長(zhǎng)的部署周期意味著在給定的時(shí)間內(nèi)準(zhǔn)備升級(jí)的套接字更少，因此臨界質(zhì)量需要更長(zhǎng)的時(shí)間才能圍繞某些技術(shù)要求增長(zhǎng)。

同時(shí)，與許多其他板級(jí)和系統(tǒng)級(jí)標(biāo)準(zhǔn)一樣，該標(biāo)準(zhǔn)的設(shè)計(jì)考慮了 x86 架構(gòu)。如前所述，英特爾的第 11 代處理器是第一個(gè)支持 PCIe Gen 4 的處理器，這標(biāo)志著英特爾服務(wù)器（第二代 Sandy Bridge）和臺(tái)式機(jī)（第三代 Ivy Bridge）芯片組上引入 PCIe Gen 3 已有十年。

盡管如此，所有這些應(yīng)用程序和芯片組推進(jìn)到當(dāng)前最先進(jìn)的技術(shù)（例如 PCIe Gen 5 和通過(guò)某種類型的背板實(shí)現(xiàn) 100+ GbE 速度）只是時(shí)間問(wèn)題。如果像 μTCA 這樣的標(biāo)準(zhǔn)要繼續(xù)下去，像高能物理這樣的標(biāo)準(zhǔn)必須推動(dòng)它達(dá)到這些性能水平。

Jan Marjonovic 是 DESY MicroTCA 技術(shù)實(shí)驗(yàn)室的高級(jí) FPGA 開發(fā)人員，該研究所的一個(gè)部門旨在“為 MicroTCA 尋找新的用例，并成為其他機(jī)構(gòu)和公司的服務(wù)提供商”。Marjonovic 表示，從 DESY 的角度來(lái)看，目標(biāo)是“擴(kuò)大安裝基礎(chǔ)，擴(kuò)大用戶群，然后向社區(qū)尋求幫助”。

雖然高能物理市場(chǎng)是最活躍的 μTCA 社區(qū)之一，但就出貨量而言，它是一個(gè)較小的市場(chǎng)。話雖如此，他們?cè)诹Ｗ蛹铀倨鳌⒘孔佑?jì)算儀器、原子聚變和裂變?cè)O(shè)備等方面的總投資高達(dá)數(shù)十億美元，而使用像 μTCA 這樣的標(biāo)準(zhǔn)有助于保護(hù)這些投資。

也就是說(shuō)，如果像 μTCA 這樣的標(biāo)準(zhǔn)可以繼續(xù)支持他們的需求。

“μTCA.4 一直是一個(gè)小眾產(chǎn)品，而且它仍將是一個(gè)小眾產(chǎn)品，”Marjonovic 說(shuō)?！暗绻?DESY 是唯一使用 μTCA 的人，這將不是一個(gè)標(biāo)準(zhǔn)。至少有 20 或 30 家機(jī)構(gòu)已經(jīng)在使用它，當(dāng)你去車間時(shí)，那里有很多人。

“至少，有一個(gè)足夠大的市場(chǎng)來(lái)維持迎合物理市場(chǎng)的技術(shù)供應(yīng)商。這已經(jīng)是第一個(gè)里程碑，”他繼續(xù)說(shuō)道?！拔锢韺W(xué)界需要自己的標(biāo)準(zhǔn)，以便公司可以合作和共同建設(shè)?！?/p>

加速器可以加速標(biāo)準(zhǔn)嗎？

VadaTech、NAT Europe、Samtec 等 μTCA 技術(shù)供應(yīng)商都積極參與了前面提到的全通道仿真，以確定 μTCA 系統(tǒng)中更高功率和更高速度互連的可行性。當(dāng)然，運(yùn)行測(cè)試和實(shí)施新的業(yè)務(wù)、工程和制造策略是兩件不同的事情。如果您正在等待市場(chǎng)趕上該技術(shù)，則尤其如此。當(dāng)您處理旨在支持互操作性以及在一定程度上支持向后兼容性的標(biāo)準(zhǔn)時(shí)，情況更是如此。

DESY 工程師和物理界的其他成員了解這一點(diǎn)，并在維護(hù)它方面擁有既得利益。畢竟，Rehlich 指出，“選擇 μTCA 的原因之一是所有非常不同的子系統(tǒng)都可以使用相同的標(biāo)準(zhǔn)，從而簡(jiǎn)化軟件開發(fā)。如果你有一個(gè)統(tǒng)一的、標(biāo)準(zhǔn)化的系統(tǒng)，那么你也可以比擁有一個(gè)異構(gòu)系統(tǒng)更好地標(biāo)準(zhǔn)化你的軟件和固件?！?/p>

但是，當(dāng)標(biāo)準(zhǔn)成熟，市場(chǎng)面臨平衡性能和需求時(shí)，如何以及何時(shí)向前發(fā)展是必須回答的問(wèn)題。

“在最壞的情況下，我們會(huì)采取中間步驟，”Rehlich 說(shuō)?！拔覀兛梢赃M(jìn)行 4x 25 GbE 和 PCIe Gen 4，同時(shí)我們?yōu)楦碌?μTCA.4 規(guī)范制定所有定義并定義協(xié)議。今年我們可以解決這個(gè)問(wèn)題。

“我們希望將其作為一個(gè)可行的標(biāo)準(zhǔn)，因此我們必須遵循技術(shù)正在做的事情以及這些天的 CPU。英特爾 CPU 提供 PCI Express Gen 4，因此板條箱應(yīng)該能夠做到這一點(diǎn)，”他解釋道?！艾F(xiàn)在 FPGA 具有更高的功率和更高的性能，所以我認(rèn)為必須遵循標(biāo)準(zhǔn)。

“現(xiàn)在不是制定全新標(biāo)準(zhǔn)的時(shí)候，”控制系統(tǒng)資深人士繼續(xù)說(shuō)道?！爱?dāng)我們?cè)诒嘲迳线M(jìn)行光通信時(shí)，這是生成全新標(biāo)準(zhǔn)的好時(shí)機(jī)，但這種技術(shù)尚不可用。所以，我認(rèn)為我們必須遵守我們必須確保的標(biāo)準(zhǔn)，以確保人們不會(huì)失去他們對(duì)技術(shù)的投資，他們購(gòu)買的所有電子產(chǎn)品，當(dāng)然還有知識(shí)。”

作者：Brandon Lewis，Chad Cox

審核編輯：郭婷