NVIDIA ConnectX智能網(wǎng)卡驅(qū)動(dòng)RDMA通訊技術(shù)在分布式存儲(chǔ)的應(yīng)用

NVIDIA ConnectX 智能網(wǎng)卡及開(kāi)源 UCX 框架幫助網(wǎng)易高性能 RDMA 網(wǎng)絡(luò)通訊功能實(shí)現(xiàn)更優(yōu)表現(xiàn)，助力網(wǎng)易通過(guò) Curve 開(kāi)源項(xiàng)目為 Apache BRPC 自主實(shí)現(xiàn)高性能的 RDMA 網(wǎng)絡(luò)通訊。

網(wǎng)易亟需打造一款高吞吐和低延遲的分布式存儲(chǔ)系統(tǒng)

如何為用戶提供性能優(yōu)異、易于部署的分布式存儲(chǔ)系統(tǒng)，特別是如何在遠(yuǎn)程訪問(wèn)存儲(chǔ)時(shí)提高吞吐和降低延遲是網(wǎng)易面臨的主要挑戰(zhàn)。雖然在自研的 Curve 開(kāi)源項(xiàng)目下已經(jīng)支持了 Apache BRPC ，并具備了一定的遠(yuǎn)程方位存儲(chǔ)的網(wǎng)絡(luò)通訊能力，但是并未實(shí)現(xiàn)對(duì) RDMA 網(wǎng)絡(luò)通訊的支持，并借助 RDMA 網(wǎng)絡(luò)通訊能力來(lái)實(shí)現(xiàn)高吞吐和低延遲，從而提升整體開(kāi)源云原生分布式存儲(chǔ)系統(tǒng)的性能。

NVIDIA ConnectX 智能網(wǎng)卡

為網(wǎng)易 Curve 開(kāi)源項(xiàng)目提供解決方案

網(wǎng)易的 Curve 開(kāi)源項(xiàng)目下支持 Apache BRPC ，并自研實(shí)現(xiàn)了 RDMA 網(wǎng)絡(luò)通訊功能，而其采用的 NVIDIA ConnectX 智能網(wǎng)卡及開(kāi)源 UCX 框架的底層軟硬件基礎(chǔ)設(shè)施，幫助其更好地為用戶提供兼顧高性能、易運(yùn)維、低成本的彈性分布式存儲(chǔ)解決方案。 Curve 是云原生計(jì)算基金會(huì)（CNCF）沙箱（Sandbox）項(xiàng)目，它是網(wǎng)易主導(dǎo)自研和開(kāi)源的高性能、易運(yùn)維、云原生的分布式存儲(chǔ)系統(tǒng)，由塊存儲(chǔ) CurveBS 和文件系統(tǒng) CurveFS 兩部分組成，可應(yīng)用于主流的云原生基礎(chǔ)設(shè)施平臺(tái)：

對(duì)接 OpenStack 平臺(tái)為云主機(jī)提供高性能塊存儲(chǔ)服務(wù)；

對(duì)接 Kubernetes 為其提供 RWO 、RWX 等類(lèi)型的持久化存儲(chǔ)卷；

對(duì)接 PolarFS 作為云原生數(shù)據(jù)庫(kù)的高性能存儲(chǔ)底座，完美支持云原生數(shù)據(jù)庫(kù)的存算分離架構(gòu)。

Curve 亦可作為云存儲(chǔ)中間件，使用與 S3 兼容的對(duì)象存儲(chǔ)作為數(shù)據(jù)存儲(chǔ)引擎，為公有云用戶提供高性價(jià)比的共享文件存儲(chǔ)系統(tǒng)。 網(wǎng)易致力于通過(guò) Curve 開(kāi)源項(xiàng)目自主研發(fā)云原生的分布式存儲(chǔ)系統(tǒng)，為不同應(yīng)用場(chǎng)景下的存儲(chǔ)需求，提供大容量、高性能、易運(yùn)維、低成本的開(kāi)源彈性存儲(chǔ)解決方案。而其最新為 BRPC 自研的 RDMA 網(wǎng)絡(luò)通訊功能，將會(huì)極大的簡(jiǎn)化 RDMA 網(wǎng)絡(luò)通訊的實(shí)現(xiàn)和提升遠(yuǎn)程存儲(chǔ)訪問(wèn)的性能，為 Curve 開(kāi)源項(xiàng)目提供高性能、低延遲的本地和遠(yuǎn)程存儲(chǔ)訪問(wèn)體驗(yàn)，同時(shí)提供良好的上層 API 兼容性和透明性，使 Curve 成為更為完善的云原生分布式存儲(chǔ)系統(tǒng)，從而驅(qū)動(dòng)其在開(kāi)源的分布式存儲(chǔ)領(lǐng)域得到廣泛的應(yīng)用。

NVIDIA ConnectX 智能網(wǎng)卡

助力 RDMA 網(wǎng)絡(luò)通訊功能發(fā)揮優(yōu)異性能

該 RDMA 網(wǎng)絡(luò)通訊功能完美的運(yùn)行在采用 NVIDIA ConnectX 智能網(wǎng)卡及開(kāi)源 UCX 框架（NVIDIA 是開(kāi)源項(xiàng)目 UCX 的核心成員和主要貢獻(xiàn)者）的底層軟硬件基礎(chǔ)設(shè)施上，將會(huì)發(fā)揮出更優(yōu)異的性能表現(xiàn)，滿足用戶對(duì)分布式存儲(chǔ)系統(tǒng)高性能、低延遲的需求，并大幅降低主機(jī) CPU 開(kāi)銷(xiāo)，為用戶提供兼顧高性能、易運(yùn)維、低成本的彈性分布式存儲(chǔ)解決方案。 具體來(lái)說(shuō)，網(wǎng)易在 NVIDIA Connect X 智能網(wǎng)卡的驅(qū)動(dòng)下實(shí)現(xiàn) UCX 框架中的 UCP（Unified Communication for Protocols）：

極大簡(jiǎn)化了 RDMA 網(wǎng)絡(luò)通訊在分布式存儲(chǔ)應(yīng)用場(chǎng)景下的實(shí)現(xiàn)，且支持的 RDMA 接口具有良好的 API 兼容性

基于高性能的 NVIDIA ConnectX 智能網(wǎng)卡，將實(shí)現(xiàn)更為出色的 RDMA 網(wǎng)絡(luò)通訊性能，IO 時(shí)延得到極大改善

即時(shí)將 RDMA 網(wǎng)絡(luò)通訊能力體現(xiàn)在 Curve 后續(xù)的開(kāi)源軟件版本中，驅(qū)動(dòng)云原生分布式存儲(chǔ)系統(tǒng)的廣泛應(yīng)用

如今，Curve 開(kāi)源項(xiàng)目的 RDMA 網(wǎng)絡(luò)通訊功能已經(jīng)實(shí)現(xiàn)，將會(huì)在后續(xù)的 Curve 版本中發(fā)布。想要深入了解網(wǎng)易是如何為 BRPC 實(shí)現(xiàn) RDMA 網(wǎng)絡(luò)通訊功能，請(qǐng)點(diǎn)擊“閱讀全文”。

審核編輯：湯梓紅