天翼云DPU技術(shù)研究和實(shí)踐

9月2日，第二屆SmartNIC&DPU技術(shù)創(chuàng)新峰會(huì)在京舉行，天翼云在2022 SmartNIC&DPU Awards年度評(píng)選中榮獲匠芯技術(shù)獎(jiǎng)。天翼云資深研發(fā)專(zhuān)家劉祿仁出席SmartNIC&DPU技術(shù)分會(huì)場(chǎng)并發(fā)表“天翼云DPU技術(shù)研究和實(shí)踐”主題演講，向行業(yè)分享天翼云以DPU為核心的新一代計(jì)算架構(gòu)的研究及場(chǎng)景落地。

隨著數(shù)據(jù)量爆發(fā)式增長(zhǎng)，數(shù)據(jù)中心規(guī)模持續(xù)擴(kuò)大，驅(qū)動(dòng)網(wǎng)絡(luò)帶寬不斷升級(jí)，以滿(mǎn)足當(dāng)前和未來(lái)云端海量數(shù)據(jù)流需求。在摩爾定律明顯放緩的背景下，隨著更高帶寬的到來(lái)，CPU算力增長(zhǎng)速度和數(shù)據(jù)中心網(wǎng)絡(luò)傳輸速率增長(zhǎng)速度的差距被逐漸拉大，效率更高的計(jì)算芯片成為剛需，DPU應(yīng)運(yùn)而生。

DPU作為計(jì)算負(fù)載的引擎，直接效果是給CPU“減負(fù)”，能夠提高數(shù)據(jù)中心的運(yùn)算效率，減少能耗浪費(fèi)，進(jìn)而降低成本，在數(shù)字時(shí)代具有巨大的商業(yè)價(jià)值與發(fā)展?jié)摿Α?/p>

天翼云作為國(guó)內(nèi)領(lǐng)先的云服務(wù)商，搶跑DPU賽道，基于當(dāng)前DPU技術(shù)演進(jìn)路線(xiàn)，結(jié)合需求的零散化、動(dòng)態(tài)變化以及對(duì)DPU產(chǎn)品線(xiàn)上運(yùn)維問(wèn)題的考量，以FPGA+CPU的架構(gòu)作為切入點(diǎn)，成功研發(fā)出天翼云DPU1.0產(chǎn)品，并以DPU云核為基礎(chǔ)打造了為云而生的全新云計(jì)算體系結(jié)構(gòu)。 天翼云DPU1.0實(shí)現(xiàn)了虛擬化的零損耗，具備高性能、低延遲、低抖動(dòng)的特性，網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能高達(dá)4000萬(wàn)PPS，存儲(chǔ)云盤(pán)IOPS可以達(dá)到60W。此外，天翼云DPU1.0還可以將傳統(tǒng)運(yùn)行在主機(jī)側(cè)的應(yīng)用轉(zhuǎn)到DPU云核上，減少大量的適配工作，在主機(jī)不同算力核和不同架構(gòu)上做到即插即用。 在天翼云DPU1.0產(chǎn)品從研發(fā)到落地的過(guò)程中，天翼云DPU團(tuán)隊(duì)在網(wǎng)絡(luò)、存儲(chǔ)及RDMA方面進(jìn)行了豐富的實(shí)踐。

在網(wǎng)絡(luò)卸載方面

針對(duì)流表數(shù)量大、轉(zhuǎn)發(fā)性能要求高、對(duì)SoC和FPGA的內(nèi)存容量需求大、穩(wěn)定性要求高等挑戰(zhàn)，天翼云對(duì)rte_flow等主要數(shù)據(jù)結(jié)構(gòu)進(jìn)行壓縮，并對(duì)流表空中計(jì)算，優(yōu)化裁剪offload卸載路徑的多層級(jí)緩存，從而支持4M流表，實(shí)現(xiàn)了內(nèi)存優(yōu)化；對(duì)所有流表進(jìn)行合并計(jì)算，避免在硬件層執(zhí)行包重注，使轉(zhuǎn)發(fā)效率達(dá)到4000萬(wàn)PPS；

基于硬件精確流表特點(diǎn)設(shè)計(jì)專(zhuān)用老化統(tǒng)計(jì)線(xiàn)程，減輕OVS Revalidator壓力；初步拆分OVS的統(tǒng)計(jì)和老化事務(wù)邏輯，優(yōu)化硬件流表的老化統(tǒng)計(jì)上報(bào)實(shí)現(xiàn)邏輯，提升軟件OVS Revalidator執(zhí)行效率；支持熱升級(jí)、熱遷移及熱恢復(fù)，做到B/V/C全場(chǎng)景的并池，大幅提升穩(wěn)定性。

在存儲(chǔ)卸載方面

針對(duì)經(jīng)常出現(xiàn)的SoC異常重啟、SPDK異常重啟、熱遷移丟IO等現(xiàn)象，天翼云從中抽象出共同特性，利用軟件協(xié)同的思想，將SoC側(cè)軟件的正常行為和異常行為進(jìn)行統(tǒng)一，組件啟動(dòng)時(shí)統(tǒng)一發(fā)送msg信息給硬件，硬件收到該msg會(huì)解析其內(nèi)容，進(jìn)而從硬件保存的queue指針信息進(jìn)行分析，在用戶(hù)無(wú)感狀態(tài)下實(shí)現(xiàn)全部異常的統(tǒng)一化處理。

在高性能網(wǎng)絡(luò)方面

擁塞算法是RDMA的核心和關(guān)鍵，為提高RDMA網(wǎng)絡(luò)的性能，天翼云聚焦下一代高效CC算法設(shè)計(jì)，以更好地避免擁塞、保證公平性，實(shí)現(xiàn)更快速收斂、更低時(shí)延、更簡(jiǎn)單部署。針對(duì)不同應(yīng)用場(chǎng)景，天翼云設(shè)計(jì)了2套算法eSurfing-CC：

針對(duì)智能網(wǎng)卡+商用交換機(jī)的組合，提出基于RTT+CNP的2段式端到端CC算法，具有主動(dòng)擁塞控制、無(wú)需依賴(lài)交換機(jī)的配置、支持快速啟動(dòng)快速收斂等優(yōu)勢(shì)；

針對(duì)智能網(wǎng)卡+可編程交換機(jī)的組網(wǎng)場(chǎng)景，在交換機(jī)上部署CC算法，使交換機(jī)同樣具備主動(dòng)擁塞通知能力和主動(dòng)發(fā)包能力，可以有效降低端到端響應(yīng)時(shí)延，同時(shí)簡(jiǎn)化建模和配置復(fù)雜度，提高系統(tǒng)的可擴(kuò)展性。

目前，基于天翼云DPU核心技術(shù)打造的多款產(chǎn)品已落地應(yīng)用，以天翼云彈性裸金屬服務(wù)器為例，該服務(wù)器兼具云服務(wù)器彈性和物理機(jī)性能，通過(guò)將網(wǎng)絡(luò)、存儲(chǔ)等功能卸載至DPU卡，可極大降低物理機(jī)側(cè)CPU和內(nèi)存等資源消耗，最終算力遠(yuǎn)超普通云主機(jī)，現(xiàn)已服務(wù)于金融、汽車(chē)等多行業(yè)企業(yè)。

會(huì)上，還發(fā)布了2022 SmartNIC&DPU Awards年度評(píng)選結(jié)果，天翼云憑借以DPU云核為基礎(chǔ)打造的全新一代云計(jì)算體系結(jié)構(gòu)，榮獲匠芯技術(shù)獎(jiǎng)。該體系結(jié)構(gòu)將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全算力遷移到自研的軟硬結(jié)合體系中，構(gòu)建了面向不同算力、全國(guó)產(chǎn)化自主可控的第二平面，可實(shí)現(xiàn)網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)資源云化加速，在DPU領(lǐng)域極具創(chuàng)新性。 DPU、CPU、GPU將成為未來(lái)計(jì)算市場(chǎng)的三大支柱，DPU作為計(jì)算市場(chǎng)的“芯”生事物，在技術(shù)標(biāo)準(zhǔn)和生態(tài)方面仍處于早期階段，具有廣闊的發(fā)展前景。未來(lái)天翼云將持續(xù)探索DPU技術(shù)，不斷完善DPU產(chǎn)品，助力海量算力高效釋放，助推數(shù)字經(jīng)濟(jì)發(fā)展。

編輯：黃飛