NVIDIA DOCA 1.3版本發(fā)布 元宇宙最火開發(fā)利器現(xiàn)身

2022年上半年 NVIDIA DOCA 1.3版本發(fā)布，對(duì)于開發(fā)者們更好地使用DPU，尤其是新一代的英偉達(dá)BlueField DPU進(jìn)行簡(jiǎn)單靈活的軟件開發(fā)，有著更好的幫助。7月5日，英偉達(dá)的相關(guān)技術(shù)專家和首屆NVIDIA DPU中國(guó)黑客松優(yōu)秀開發(fā)者一起線上作了精彩的分享。

DOCA是 Data-Center-Infrastructur e-On-A-Chip-Architectur e的縮寫，也就是“線上數(shù)據(jù)中心基礎(chǔ)設(shè)施體系結(jié)構(gòu)”。它是一個(gè)為BlueField DPU量身定做的軟件開發(fā)平臺(tái)，主要的目的是為開發(fā)者打造一個(gè)全面開放的開發(fā)平臺(tái)，支持廣大開發(fā)者可以在BlueField DPU上進(jìn)行簡(jiǎn)單靈活的軟件開發(fā)，讓開發(fā)者可以快速地創(chuàng)建BlueField DPU，加速高性能的一些應(yīng)用程序和服務(wù)。DOCA是依托于面向未來的API驅(qū)動(dòng)的思維模式來構(gòu)建的，可以讓BlueField DPU硬件加速變得更加易用，從而實(shí)現(xiàn)非凡的數(shù)據(jù)中心的性能、效率，還有安全性。DOCA使開發(fā)者能夠利用行業(yè)標(biāo)準(zhǔn)的API，在BlueField DPU上做快速的創(chuàng)建 應(yīng)用程序和服務(wù)，類似于我們GPU上的CUDA，它能夠解鎖數(shù)據(jù)中心里的 創(chuàng)新功能， 并且能夠更好地向下一代或者未來新一代BlueField DPU來做兼容性和進(jìn)一步的持續(xù)支持。DOCA可以加快應(yīng)用程序和服務(wù)的上市時(shí)間，讓合作伙伴和客戶在各自競(jìng)爭(zhēng)領(lǐng)域里獲得成功。并基于BlueField DPU服務(wù)場(chǎng)景發(fā)揮關(guān)鍵的靈魂作用，可以釋放DPU的潛力。

英偉達(dá)網(wǎng)絡(luò)技術(shù)專家崔巖先介紹了NVIDIA DOCA 的前幾代軟件版本的歷史來源。

最早的DOCA 1.0是在2020年GTC秋季大會(huì)上，與BlueField-2 DPU一同發(fā)布的，后面持續(xù)演進(jìn)到DOCA 1.1版本，更加完善了整個(gè)DOCA軟件棧，提供了DOCA SDK、運(yùn)行時(shí)、以及DOCA 服務(wù)。到了DOCA1.2版本，也就是在1.3之前使用的版本，在這個(gè)版本上更加加強(qiáng)了在零信任 分布式安全解決方案上的支持，直到我們這次5月份新發(fā)布的DOCA 1.3，它提供了121個(gè)新的API開發(fā)接口，也提供了一些全新和增強(qiáng)的功能，包括優(yōu)化數(shù)據(jù)流插入的DOCA Flow庫、 通信通道庫、 正則表達(dá)式庫、 我們App Shield SDK、 基于OVN的IPSec 加密的完全卸載，以及新增的一些DOCA服務(wù)，比如HBN，就是我們?cè)贒PU上實(shí)現(xiàn)了三層的路由功能。

從DOCA軟件開發(fā)套件來看，它主要是為了來創(chuàng)建和構(gòu)建應(yīng)用程序所需的所有組件，包括驅(qū)動(dòng)程序、抽象的API庫、 各種開發(fā)工具、參考源代碼、示例程序和開發(fā)所需相關(guān)的文檔，現(xiàn)在到了DOCA 1.3版本，它已經(jīng)是比較完善的軟件棧，開發(fā)者可以輕松地基于這個(gè)軟件棧在本地 BlueField DPU 上或X86的開發(fā)容器中 搭建開發(fā)環(huán)境，來快速地開發(fā)自己想要實(shí)現(xiàn)的應(yīng)有程序或服務(wù)。

DOCA框架能夠給開發(fā)者提供一個(gè)一致的開發(fā)體驗(yàn)，既可以統(tǒng)一訪問BlueField DPU上各種硬件資源，從而簡(jiǎn)化網(wǎng)絡(luò)存儲(chǔ)安全和基礎(chǔ)設(shè)施管理服務(wù)相關(guān)的開發(fā)，開發(fā)者也不用擔(dān)心開發(fā)環(huán)境的 構(gòu)建和 部署復(fù)雜程度，基本上DOCA是個(gè)即插即用 的方式，可以讓開發(fā)者很容易地來使用這個(gè)軟件棧。

同時(shí)，還為開發(fā)者提供了基于底層API抽象封裝的高級(jí)API庫，這樣對(duì)于開發(fā)者來講，可以大大地節(jié)省他的開發(fā)時(shí)間，更早或更快地來使大的開發(fā)應(yīng)用投入到市場(chǎng)，獲得更大的投資收益。當(dāng)然，DOCA還提供了相應(yīng)的容器化的DOCA服務(wù)，可以在BlueField DPU上直接進(jìn)行部署，來提供相應(yīng)的應(yīng)用和解決方案?？蛻舨恍枰贒OCA服務(wù)上再做進(jìn)一步的開發(fā)。

在線上分享會(huì)，專家崔巖特別著重介紹了三個(gè)DOCA 1.3上的新功能或增強(qiáng)功能。

第一個(gè)要介紹的是正則表達(dá)式庫，這個(gè)正則表達(dá)式也稱為Regular Expression（RegEx），是許多腳本語言使用標(biāo)準(zhǔn)模式匹配的工具，有了它可以創(chuàng)建與文本模式匹配的一些過濾器，而不僅是單個(gè)單詞或短語的匹配。正則表達(dá)式是專為高吞吐量、低延時(shí)、深度包檢測(cè)的應(yīng)用程序而設(shè)計(jì)，這些應(yīng)用程序需要數(shù)據(jù)包，可以進(jìn)行負(fù)載 檢測(cè)和 異常 監(jiān)測(cè)，通過正則表達(dá)式模式匹配字符串來實(shí)現(xiàn)相應(yīng)的應(yīng)用功能。這個(gè)正則表達(dá)式還可以做一個(gè)安全遙測(cè)的功能，可以在DOCA1.3上更好地提供一些安全方面的應(yīng)用，比如 應(yīng)用 識(shí)別、 入侵防御的系統(tǒng)、 URL的過濾、 文件的掃描、 深度數(shù)據(jù)包檢測(cè)，以及App Shield的內(nèi)存掃描。這些都會(huì)用到正則表達(dá)式庫的相應(yīng)功能，能為這些安全軟件開發(fā)提供底層的API支持。

第二個(gè)需要強(qiáng)調(diào)的或者需要介紹的，是我們基于OVN的數(shù)據(jù)路徑加密功能。在我們之前的1.2版本 能將主機(jī)內(nèi)的IPsec相應(yīng)的功能卸載到DPU之上，構(gòu)建 IPsec的控制平面，在vSwitch 控制平面上實(shí)現(xiàn) IPsec加密和解密。新的增強(qiáng)版本上，我們把這個(gè)功能相當(dāng)于擴(kuò)展到整個(gè)OVN范疇之內(nèi)，不同主機(jī)之間都可以用這個(gè)IPsec的方式來創(chuàng)建不同的通道，進(jìn)行數(shù)據(jù)的加密，保證數(shù)據(jù)在不同主機(jī)之間傳遞的時(shí)候，它是一個(gè)加密的狀態(tài)。當(dāng)這個(gè)數(shù)據(jù)達(dá)到某個(gè)主機(jī)時(shí)，DPU會(huì)把它解密成明文，把這些明文數(shù)據(jù)再傳遞給主機(jī)側(cè)來為 業(yè)務(wù)應(yīng)用 提供數(shù)據(jù)。這是OVN數(shù)據(jù)路徑加密的，在DOCA1.3上的一個(gè)新增功能。

最后一個(gè)要介紹的是DOCA基于主機(jī)的網(wǎng)絡(luò)，我們簡(jiǎn)稱為“HBN”。這個(gè)功能是在NVIDIA BlueField DPU上基于主機(jī)的網(wǎng)絡(luò)上可以進(jìn)行管理和監(jiān)控同一節(jié)點(diǎn)上虛擬機(jī)和容器之間的流量，也就是說我們?cè)谝粋€(gè)服務(wù)器主機(jī)上可能創(chuàng)建了多個(gè)虛擬機(jī)或多個(gè)容器，在它們之間會(huì)有一些數(shù)據(jù)流量，不僅是轉(zhuǎn)發(fā)二層數(shù)據(jù)流量，還要實(shí)現(xiàn)三層 路由 功能，我們也把它實(shí)現(xiàn)在了BlueField的DPU之上，通過基于主機(jī)網(wǎng)絡(luò)的DOCA服務(wù)。而且它還可以做加密和解密，進(jìn)行節(jié)點(diǎn)流量的監(jiān)控，同時(shí)也會(huì)把一些原來是依賴以TOR交換機(jī)上面的功能也在DPU上面得到了實(shí)現(xiàn)，這種方式會(huì)徹底改變客戶構(gòu)建和思考整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)構(gòu)建的方式。

隨著BlueField DPU智能化程度的提高，在整個(gè)網(wǎng)絡(luò)里把功能都會(huì)集中在BlueField DPU之上去做相應(yīng)的實(shí)現(xiàn)，這樣就會(huì)降低對(duì)TOR交換機(jī)的相關(guān)要求，BlueField DPU還可以 提供一個(gè)隔離的環(huán)境，這樣可以做更好的安全性的部署。

歸根到底，基于主機(jī)的網(wǎng)絡(luò)HBN它是一個(gè)DOCA的服務(wù)，像我前面介紹的那樣，它實(shí)際不需要客戶再在上面做過多的開發(fā)，直接就可以通過容器的方式可以直接在BlueField DPU上面做部署，通過作為BGP的路由器來使用，可以做主機(jī)內(nèi)的虛擬機(jī)或容器之間的三層數(shù)據(jù)轉(zhuǎn)發(fā)路由，也可以對(duì)主機(jī)外相應(yīng)的其他節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行三層轉(zhuǎn)發(fā)，使二層網(wǎng)絡(luò)和三層網(wǎng)絡(luò)都得以擴(kuò)展。當(dāng)然，也會(huì)擴(kuò)展到云計(jì)算里多租戶的環(huán)境之下。

在整個(gè)BlueField DPU上實(shí)現(xiàn)了這些動(dòng)態(tài)的路由協(xié)議之后，可以大大地加速整個(gè)網(wǎng)絡(luò)數(shù)據(jù)流量處理性能，同時(shí)BlueField DPU還可以提供相應(yīng)的安全保障，這是HBN會(huì)給BlueField DPU和未來客戶在數(shù)據(jù)中心網(wǎng)絡(luò)部署的時(shí)候會(huì)帶來全新的方式。

分享會(huì)上首屆NVIDIA DPU中國(guó)黑客松亞軍團(tuán)隊(duì)、優(yōu)秀開發(fā)者代表胡效赫也很高興地分享了他及其團(tuán)隊(duì) 使用DOCA 的開發(fā)經(jīng)驗(yàn)與心得。

胡效赫是一位來自高校的DPU開發(fā)者，其黑客松參賽團(tuán)隊(duì)是由一位博士后和兩位博士生組成的，研究方向是云計(jì)算和分布式系統(tǒng)?！皬?020年NVIDIA發(fā)布BlueField DPU開始，我們就在關(guān)注相關(guān)的學(xué)術(shù)界和業(yè)界的信息。今年通過微信上的活動(dòng)推送，我們得知并有機(jī)會(huì)參與了首屆NVIDIA DPU中國(guó)黑客松，并獲得了亞軍。”

在開發(fā)過程中通過專家的指導(dǎo)充分地了解了DPU的硬件特性，DOCA良好的可編程性讓開發(fā)者可以快速實(shí)現(xiàn)并驗(yàn)證創(chuàng)新的想法。同時(shí)開發(fā)者也可以對(duì)DOCA的API進(jìn)行深度、定制化開發(fā)，實(shí)現(xiàn)更好的性能和更豐富的功能。

胡效赫介紹說：“我們開發(fā)團(tuán)隊(duì)提出了DeepTrace項(xiàng)目，面向DPU驅(qū)動(dòng)的基礎(chǔ)設(shè)施的網(wǎng)包級(jí)函數(shù)粒度業(yè)務(wù)可觀測(cè)性。我們以DOCA提供的網(wǎng)流及粗粒度可觀測(cè)性為基礎(chǔ)，對(duì)應(yīng)的是DOCA中的Netflow API庫，結(jié)合DPU的高性能網(wǎng)絡(luò)處理功能，對(duì)應(yīng)的是DPU的ASAP2網(wǎng)包分類引擎，以及DOCA中的Flow API庫，以及數(shù)據(jù)平面和控制平面的可編程能力，將可觀測(cè)性的力度提升至網(wǎng)包級(jí)，并精確到每個(gè)函數(shù)功能。同時(shí)，我們也做到了幾乎可以忽略不計(jì)的性能損耗?！?br />
“通過DOCA和項(xiàng)目開發(fā)來具體介紹我們是如何創(chuàng)新地設(shè)計(jì)DeepTrace項(xiàng)目的。業(yè)務(wù)流量首先經(jīng)過DeepTrace預(yù)選器，再經(jīng)由原始的GPU程序進(jìn)行處理，在D PU程序中會(huì)調(diào)用DeepTrace的觸發(fā)器來實(shí)現(xiàn)相應(yīng)點(diǎn)位的觀測(cè)，然后被觀測(cè)的數(shù)據(jù)會(huì)被匯總收集至分析器，通過數(shù)據(jù)的重組和分析得到相應(yīng)的結(jié)果，比如得到異常流量的檢測(cè)以及業(yè)務(wù)問題的定位等?；贒OCA開發(fā)DeepTrace的整體編程模式和在CPU上進(jìn)行DPDK網(wǎng)絡(luò)功能的開發(fā)功能類似，這種模式提高了我們的開發(fā)效率。”

“具體來看，其中觸發(fā)器部分的挑戰(zhàn)是如何以最小的代價(jià)收集鏈?zhǔn)胶瘮?shù)和網(wǎng)包的信息，我們采用的方案是以統(tǒng)一化、輕量化的函數(shù)內(nèi)觸發(fā)器實(shí)現(xiàn)，具體在開發(fā)過程中，我們將DOCA的NetFlow庫修改為網(wǎng)包粒度，而需要觀測(cè)的函數(shù)以API的形式調(diào)用觸發(fā)器即可。”

“在預(yù)選器部分的挑戰(zhàn)是如何處理大規(guī)模原始流量，并在函數(shù)鏈中記錄網(wǎng)包。我們采用的方案是通過硬件卸載的預(yù)選器進(jìn)行標(biāo)記和過濾。具體在開發(fā)過程中我們調(diào)用DOCA的Flow庫配置所需預(yù)選的顆粒 規(guī)則即可實(shí)現(xiàn)，因?yàn)轭A(yù)選功能實(shí)際由硬件卸載完成。所以，方案帶來的性能損耗幾乎可以忽略不計(jì)劃。在分析器部分，我們由運(yùn)行在ARM控制平面的開源開放工程實(shí)現(xiàn)?！?br /> 對(duì)于DOCA 開發(fā)者免費(fèi)使用 卓越中心的DOCA開發(fā)環(huán)境的開放時(shí)間和規(guī)則，主辦方也在線上作了解釋。具體可以參考以下的兩張PPT截圖，供NVIDIA的DPU開發(fā)者參考。

卓越中心的運(yùn)營(yíng)方仍然還是之前所授權(quán)的兩家公司：麗臺(tái)信息和信弘智能科技。

NVIDIA網(wǎng)絡(luò)與AI產(chǎn)品的最新進(jìn)展，元宇宙最火的硬件平臺(tái)原來是它！

NVIDIA網(wǎng)絡(luò)市場(chǎng)總監(jiān)孟慶也在分享會(huì)上順便介紹了一下公司網(wǎng)絡(luò)產(chǎn)品最新進(jìn)展，包括在眾多開源聯(lián)盟參與標(biāo)準(zhǔn)建設(shè)、開放網(wǎng)絡(luò)軟件等方面的進(jìn)展，以及NVIDIA成為Linux基金會(huì)OPI項(xiàng)目創(chuàng)始成員等。

也提到了NVIDIA在全球Top 500超級(jí)計(jì)算機(jī)互連中占主導(dǎo)地位的成就，如上圖所示。有197個(gè) Top 500強(qiáng)系統(tǒng)中采用了NVIDIA InfiniBand 網(wǎng)絡(luò)。

孟慶還介紹了Spectrum-4 400Gbps 端到端以太網(wǎng)平臺(tái)，其中包括 Spectrum-4 交換機(jī)、ConnectX-7智能網(wǎng)卡、BlueField-3 DPU及相關(guān)軟件可以有力支撐炙手可熱的元宇宙(Omniverse) ?！霸跀?shù)字孿生里，Omniverse標(biāo)準(zhǔn)的OVX SuperPod，我們采用的方案必須得是Spectrum-4 400G這套網(wǎng)絡(luò)平臺(tái)這樣才能更好的實(shí)現(xiàn)您所需的數(shù)字孿生，由數(shù)字人-數(shù)字機(jī)器-物理世界做相應(yīng)的互聯(lián)，”孟慶說。