LC3網(wǎng)絡(luò)技術(shù)演講系列之一：基于VPP平臺(tái)的網(wǎng)絡(luò)服務(wù)優(yōu)化

摘要：?國(guó)際知名開(kāi)源社區(qū)Linux基金會(huì)主辦的開(kāi)源大會(huì)LinuxCon + ContainerCon + CloudOpen China 2018(LC3)于6月25日在北京開(kāi)幕。今年阿里云作為白金合作伙伴亮相本次中國(guó)開(kāi)源盛會(huì)。

國(guó)際知名開(kāi)源社區(qū)Linux基金會(huì)主辦的開(kāi)源大會(huì)LinuxCon + ContainerCon + CloudOpen China 2018(LC3)于6月25日在北京開(kāi)幕。今年阿里云作為白金合作伙伴亮相本次中國(guó)開(kāi)源盛會(huì)。阿里云網(wǎng)絡(luò)團(tuán)隊(duì)的三位技術(shù)專家在論壇上分享了各自專業(yè)領(lǐng)域的經(jīng)驗(yàn)。分享主題包括開(kāi)源平臺(tái)的優(yōu)化、網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用等。如果你錯(cuò)過(guò)了親臨現(xiàn)場(chǎng)的機(jī)會(huì)，沒(méi)關(guān)系，我們通過(guò)三篇回顧總結(jié)來(lái)感受下。

?

主講人：陳建永 阿里云高級(jí)技術(shù)專家

主題：Network Service Optimization with VPP Platform（基于VPP平臺(tái)的網(wǎng)絡(luò)服務(wù)優(yōu)化）

分論壇：Network & Orchestration

摘要：這篇文章介紹了阿里云網(wǎng)絡(luò)產(chǎn)品智能接入網(wǎng)關(guān)的研發(fā)背景和使用場(chǎng)景，以及基于項(xiàng)目為什么選擇了VPP做為技術(shù)基礎(chǔ)，做了哪些方面的優(yōu)化和選擇。

項(xiàng)目背景

本次產(chǎn)品的背景是實(shí)現(xiàn)一款類似于VPN網(wǎng)關(guān)的產(chǎn)品。產(chǎn)品使用的三大典型場(chǎng)景是混合云、連鎖零售和分支與總部互聯(lián)，實(shí)現(xiàn)加電就上阿里云，加電就互聯(lián)的目標(biāo)。

基于這樣的產(chǎn)品要求，對(duì)技術(shù)產(chǎn)品的要求包括需要支持IKE、支持route-based VPN、支持IP轉(zhuǎn)發(fā)和VRF以及有比較高的轉(zhuǎn)發(fā)處理能力?？疾煜聛?lái)，VPP跟我們的要求相對(duì)比較match，所以最終選擇了VPP做為基座。

但是VPP只是一個(gè)框架和POC，離真正的產(chǎn)品還有比較大的差距，后面我們會(huì)詳細(xì)展開(kāi)我們做了哪些方面的優(yōu)化。

IP和IPSec分組片

我們選擇的VPP基線版本是18.01，已經(jīng)包含了基本的分片函數(shù)，但是主要是用在ip4-map node上面，基本轉(zhuǎn)發(fā)里反而沒(méi)有分片功能?；诖?，我們?cè)趇p4-rewrite的節(jié)點(diǎn)后增加了ip4-frag節(jié)點(diǎn)，實(shí)現(xiàn)了通常轉(zhuǎn)發(fā)流程中對(duì)分片的支持。

VPP 18.01里是沒(méi)有組片支持的代碼的，但是外面有一個(gè)組片支持的patch，那么我們就把改patch合并到了18.01里，實(shí)現(xiàn)了組片的支持。目前該patch已經(jīng)被社區(qū)合并到了18.04分支里。

關(guān)于IPsec分片的支持，先加密后分片，還是先分片后加密，這個(gè)是不一樣的。一般情況下，可以選擇先分片后加密，這樣解密端可以直接解密后發(fā)送出去，組片的工作由客戶端完成。但是做設(shè)備都會(huì)面臨測(cè)試一個(gè)大包背對(duì)背IPSec測(cè)試的問(wèn)題，這種情況下，測(cè)試儀的接收口收到的報(bào)文是分片的，他是不認(rèn)識(shí)的。為了測(cè)試出性能數(shù)據(jù)，就需要解密端發(fā)送出跟發(fā)送端一樣的報(bào)文。此時(shí)，一般是加密端選擇對(duì)收到的1500字節(jié)報(bào)文先加密后分片，這樣解密端收到報(bào)文后先組片，組完片以后再解密，然后發(fā)送出一個(gè)跟發(fā)送端一樣的1500的報(bào)文。我們自己是2種情況都支持了。

Linux self報(bào)文支持

我們實(shí)現(xiàn)的是一款商業(yè)的產(chǎn)品，除了轉(zhuǎn)發(fā)報(bào)文，設(shè)備還要支持VPN IKE協(xié)商，DHCP server功能，SSH/Telnet管理等，此時(shí)的報(bào)文都是發(fā)送給設(shè)備上面的Application的。但是，設(shè)備以太網(wǎng)口已經(jīng)被VPP下的DPDK接管了，那么就需要把接收大的報(bào)文區(qū)分出self的報(bào)文，發(fā)送給APP；同時(shí)，APP發(fā)出的報(bào)文要讀取到VPP里并且通過(guò)以太網(wǎng)口發(fā)送出去。

實(shí)現(xiàn)的途徑包括DPDK的KNI、tap接口、AF_PACKET等，我們的選擇是從VPP的router-plugin的patch里拿出了tap-inject模塊，通過(guò)tap-inject實(shí)現(xiàn)self報(bào)文的收發(fā)，具體的node如下：

當(dāng)然，這里也是有問(wèn)題的，就是tap接口的數(shù)據(jù)讀寫(xiě)是走系統(tǒng)調(diào)用的，對(duì)VPP的報(bào)文處理還是有影響的，還在我們的self報(bào)文不多。后續(xù)考慮移植KNI接口來(lái)進(jìn)行改善。

進(jìn)程間通信

上面說(shuō)，我們的設(shè)備上面跑了很多的服務(wù)，這些應(yīng)用之間是需要做信息同步的。典型的比如agent接收控制器的數(shù)據(jù)，需要發(fā)送給IKED做協(xié)商用；IKED協(xié)商出密鑰需要把密鑰下發(fā)給VPP做加解密等。這就需要提供一種進(jìn)程間通信的機(jī)制。

這里有很多種選擇，比較直接的比如采用unix socket、netlink等，復(fù)雜一點(diǎn)采用TIPC等。我們采用了nanomsg來(lái)完成進(jìn)程間通信，主要考慮是nanomsg相對(duì)來(lái)說(shuō)沒(méi)有那么復(fù)雜，同時(shí)支持req/response，pub/sub等通信模式，這對(duì)于將來(lái)多種信息同步的方式支持比較好。

IKE問(wèn)題及解決方案

VPP已經(jīng)支持IKE，但是只做了一半，只支持IKEv2。這一半也只做了一半，只支持IKEv2做為responder，不能做為request方。另外，VPP也不適合集成復(fù)雜的IKE協(xié)商?；谏厦娴那闆r和考慮，我們?cè)谠O(shè)備商單獨(dú)起了專門的IKE應(yīng)用來(lái)做協(xié)商，這個(gè)應(yīng)用跟VPP再做SA的同步。

這里，IKED的選擇可以是strongswan、freeswan、ipsec-tools等。

4G支持

在連鎖等場(chǎng)景下，有些客戶提出了4G支持的需求。一般來(lái)說(shuō)，4G模塊的驅(qū)動(dòng)都是基于內(nèi)核做收發(fā)包處理的。VPP要支持一般有兩種方式：一種是基于AF_PACKET，通過(guò)AF_PACKET做VPP和Linux內(nèi)核的報(bào)文橋梁，這種方式的好處是改動(dòng)相對(duì)比較小，壞處是性能不是很好。另外一種方式是修改4G模塊的驅(qū)動(dòng)，支持DPDK，這種方式的好處是性能會(huì)非常好，因?yàn)椴挥媒?jīng)過(guò)內(nèi)核直接到了VPP，壞處就是驅(qū)動(dòng)的改動(dòng)會(huì)非常大，而且每換一個(gè)4G模塊就需要改動(dòng)一次。

大家可以根據(jù)自己實(shí)際的需要來(lái)選擇采用的技術(shù)方案。

總結(jié)

總的來(lái)說(shuō)，VPP是一個(gè)比較好的框架，實(shí)現(xiàn)了很高的性能和非常多的feature。但是只是適合做POC，里邊的坑非常多，用于商業(yè)需要對(duì)其非常了解和熟悉，做好填坑的準(zhǔn)備。