FPGA+x86可以將時(shí)延的精度控制在2.5ns數(shù)量級(jí)別

眾所周知，以太網(wǎng)已經(jīng)深入我們的生活無(wú)處不在，企業(yè)、校園、大數(shù)據(jù)中心和家庭等都離不開(kāi)網(wǎng)絡(luò)，否則我們的生活將受到嚴(yán)重的影響。

以太網(wǎng)的接口速率也是迅速發(fā)展：10M、100M、GE、10GE、40GE、100GE，到目前逐步成熟的2.5GE、5GE、25GE、50GE甚至400GE，基本是每10年速率10倍增長(zhǎng)的發(fā)展趨勢(shì)。

很多數(shù)據(jù)中心和運(yùn)營(yíng)商也已準(zhǔn)備將其網(wǎng)絡(luò)從100GE擴(kuò)展到400GE，以支持第五代無(wú)線技術(shù)（5G）、人工智能（AI）、虛擬現(xiàn)實(shí)（VR）、物聯(lián)網(wǎng)（IoT）、自動(dòng)駕駛汽車(chē)等新興技術(shù)所需的帶寬和響應(yīng)時(shí)間。

然而任何新型網(wǎng)絡(luò)接口速率、網(wǎng)絡(luò)設(shè)備的研發(fā)至形成最終產(chǎn)品及網(wǎng)絡(luò)新技術(shù)從研究到落地，每個(gè)階段都離不開(kāi)測(cè)試驗(yàn)證，而且已經(jīng)給測(cè)試帶來(lái)了極大的挑戰(zhàn)。同時(shí)，高性能的穩(wěn)定的高速率網(wǎng)絡(luò)測(cè)試儀的發(fā)展，卻有點(diǎn)跟不上網(wǎng)絡(luò)設(shè)備的研發(fā)需求。

所以高速率、穩(wěn)定的網(wǎng)絡(luò)測(cè)試儀的發(fā)展刻不容緩，尤其是掌握核心技術(shù)的國(guó)產(chǎn)化網(wǎng)絡(luò)測(cè)試儀產(chǎn)品。

國(guó)內(nèi)電信運(yùn)營(yíng)商進(jìn)行的大規(guī)模的數(shù)據(jù)中心交換機(jī)或是核心路由器的測(cè)試場(chǎng)景對(duì)測(cè)試儀提出了極高的要求。

1、穩(wěn)定性

具備長(zhǎng)時(shí)間穩(wěn)定打流、統(tǒng)計(jì)及協(xié)議仿真的能力，如7x24小時(shí)長(zhǎng)時(shí)間穩(wěn)定運(yùn)行；

2、可重復(fù)性

同樣的物理環(huán)境及網(wǎng)絡(luò)條件，多次測(cè)試結(jié)果必須一致；

3、準(zhǔn)確性

測(cè)試結(jié)果必須能準(zhǔn)確的反映被測(cè)設(shè)備或系統(tǒng)的真實(shí)指標(biāo)情況，如吞吐量指標(biāo)、時(shí)延和抖動(dòng)的精確性、流量調(diào)度的精確性、流量統(tǒng)計(jì)的精確性；

4、高性能

支持所有包長(zhǎng)（如64-16000字節(jié)或IMIX混合包長(zhǎng)）線速發(fā)流及統(tǒng)計(jì)的能力、超高的路由交換協(xié)議仿真能力（如多session數(shù)的BGP/OSPF/ISIS/PPPOE/IPOE/EVPN等）、多端口（如上百個(gè)以上的100GE/10GE）多業(yè)務(wù)（如IPV4/IPV6/MPLS/Multicast）流量場(chǎng)景仿真能力；

5、標(biāo)準(zhǔn)性

具備符合國(guó)際測(cè)試標(biāo)準(zhǔn)RFC-2544，RFC-2889、RFC3511、RFC3918等；

6、豐富的接口類(lèi)型

支持1GE/2.5GE/5GE/10GE/25GE/40GE/50GE/100GE/400GE等多種接口類(lèi)型，支持多機(jī)框級(jí)聯(lián)搭建大規(guī)模的測(cè)試場(chǎng)景。

而目前市面上存在的網(wǎng)絡(luò)測(cè)試儀主要有兩種架構(gòu)。

1、基于x86+DPDK+網(wǎng)卡的測(cè)試儀

X86的編程相對(duì)容易，調(diào)試手段更加豐富，成本有一定的優(yōu)勢(shì)，在要求不高的功能性測(cè)試方面，是一個(gè)不錯(cuò)的選擇。

2、基于FPGA+x86混合的測(cè)試儀

FPGA+x86這樣的軟硬集合的測(cè)試系統(tǒng)，則適用于高性能、全覆蓋、測(cè)試場(chǎng)景規(guī)模大、測(cè)試業(yè)務(wù)復(fù)雜的測(cè)試場(chǎng)景。

FPGA+x86的混合架構(gòu)，一方面利用了FPGA越來(lái)越強(qiáng)大的數(shù)據(jù)層面硬件的并行性，另一方面也結(jié)合了CPU在控制層面的處理靈活性，同時(shí)由于FPGA和CPU本質(zhì)上都是可編程的系統(tǒng)，根據(jù)業(yè)務(wù)處理的需要，可以在FPGA硬件和CPU軟件之間靈活地移動(dòng)業(yè)務(wù)劃分邊界，實(shí)現(xiàn)整個(gè)業(yè)務(wù)流程的全面優(yōu)化。

我們按照前面所說(shuō)的電信運(yùn)營(yíng)商的復(fù)雜測(cè)試場(chǎng)景要求，對(duì)兩種架構(gòu)的測(cè)試儀進(jìn)行一個(gè)全面的對(duì)比分析如下：

1、64-16000字節(jié)包長(zhǎng)的線速發(fā)流及統(tǒng)計(jì)能力

x86+DPDK+網(wǎng)卡：以圖示的100G網(wǎng)絡(luò)為例，在64字節(jié)包長(zhǎng)的情況下，大概每秒會(huì)收發(fā)150M個(gè)數(shù)據(jù)包，以目前的CPU的計(jì)算和存儲(chǔ)存取能力是無(wú)法處理的，而基于FPGA架構(gòu)的測(cè)試儀沒(méi)有此限制。根據(jù)DPDK官網(wǎng)公開(kāi)發(fā)布的最新數(shù)據(jù)（2019.10.9）【數(shù)據(jù)來(lái)源，DPDK官網(wǎng) www.dpdk.org】，采用圖1的系統(tǒng)配置，可以明顯看出在64，128，256等小字節(jié)情況下無(wú)法做到100G線速收發(fā)包；

FPGA+x86：所有字節(jié)可以做到線速發(fā)包與統(tǒng)計(jì)。

所能達(dá)到的小字節(jié)包長(zhǎng)線速性能如圖2所示。

2、時(shí)延和抖動(dòng)的精確性

時(shí)延測(cè)試的精度在網(wǎng)絡(luò)測(cè)試中是非常重要的指標(biāo)。

x86+DPDK+網(wǎng)卡：X86系統(tǒng)是面向通用計(jì)算的系統(tǒng)，它本身的基準(zhǔn)時(shí)鐘精度就不高，同時(shí)OS的調(diào)度誤差至少在us量級(jí)；如果x86系統(tǒng)的NIC不支持在物理層插入時(shí)間戳的話，需要由軟件系統(tǒng)來(lái)處理網(wǎng)絡(luò)時(shí)延，這將帶來(lái)進(jìn)一步的誤差；所以通常網(wǎng)絡(luò)測(cè)試需要的精確至10ns量級(jí)的時(shí)延難以在面向計(jì)算的通用x86平臺(tái)上實(shí)現(xiàn)；

FPGA+x86：在FPGA平臺(tái)上，通過(guò)0.1～0.001PPM精度的晶振，產(chǎn)生高達(dá)400M的時(shí)鐘，可以將時(shí)延的精度控制在2.5ns數(shù)量級(jí)別。

3、存儲(chǔ)系統(tǒng)靈活性

x86+DPDK+網(wǎng)卡：x86系統(tǒng)面向通用計(jì)算，目前主流的內(nèi)存系統(tǒng)是DDR4內(nèi)存，帶寬大但是訪問(wèn)延遲也大，根據(jù)讀寫(xiě)訪問(wèn)模式的不同，可能會(huì)帶有延遲抖動(dòng)；

FPGA+x86:FPGA的內(nèi)存，可以根據(jù)需要組合片上RAM（可以實(shí)現(xiàn)cache功能）+DDR+QDR+RLDRAM等各種內(nèi)存技術(shù)，優(yōu)化帶寬需求型和延遲需求型訪問(wèn)。

4、協(xié)議加速的能力

x86+DPDK+網(wǎng)卡：無(wú)額外資源來(lái)實(shí)現(xiàn)TCP offloading等協(xié)議加速功能;

FPGA+x86:FPGA是硬件的可編程系統(tǒng)，可以根據(jù)硬件資源的多少，以及業(yè)務(wù)處理的需要，在協(xié)議處理方面和x86系統(tǒng)靈活地劃分接口界限，實(shí)現(xiàn)TCP offloading等協(xié)議加速功能，把協(xié)議處理中的計(jì)算密集型的無(wú)狀態(tài)任務(wù)在硬件層面并行化，可以大大增強(qiáng)整個(gè)系統(tǒng)的處理能力。

5、2-3層流量調(diào)度的精確性

x86+DPDK+網(wǎng)卡：x86系統(tǒng)在高速端口上無(wú)法實(shí)現(xiàn)小字節(jié)包長(zhǎng)線速發(fā)流，更談不上精準(zhǔn)的流量調(diào)度了；

FPGA+x86：面對(duì)測(cè)試業(yè)務(wù)流量越來(lái)越復(fù)雜和規(guī)模越來(lái)越大的交換機(jī)、路由器，F(xiàn)PGA系統(tǒng)架構(gòu)下支持產(chǎn)生成千上萬(wàn)條流（比如高端測(cè)試儀中典型的64K條流），并且可以對(duì)每條流之間的帶寬比例、發(fā)送調(diào)度模式做到精確控制，甚至精確到小數(shù)點(diǎn)后面5位。

6、統(tǒng)計(jì)的實(shí)時(shí)性能和準(zhǔn)確性

x86+DPDK+網(wǎng)卡：CPU的測(cè)試功能軟件實(shí)現(xiàn)本質(zhì)上是一個(gè)串行的指令集合，隨著多核的超線程等新技術(shù)的實(shí)現(xiàn)，在指令級(jí)別可以實(shí)現(xiàn)部分的并行，但是對(duì)于一些統(tǒng)計(jì)數(shù)據(jù)，比如實(shí)時(shí)的每秒收發(fā)幀數(shù)等，至少是由兩個(gè)參數(shù)來(lái)定義的（一定的時(shí)間間隔delta和該間隔內(nèi)的收發(fā)包數(shù)），若是這兩個(gè)參數(shù)的讀取是在一個(gè)CPU內(nèi)核上實(shí)現(xiàn)的，則指令的串行特性必然帶來(lái)很大的誤差；若是這兩個(gè)參數(shù)的讀取是在兩個(gè)內(nèi)核上實(shí)現(xiàn)的，則目前的CPU技術(shù)難以實(shí)現(xiàn)內(nèi)核之間ns級(jí)別的同步，同樣帶來(lái)統(tǒng)計(jì)值的不精確；

FPGA+x86： FPGA內(nèi)部，通過(guò)硬件編程技術(shù)，可以很輕松地實(shí)現(xiàn)統(tǒng)計(jì)值快照功能，嚴(yán)格保證上述兩個(gè)參數(shù)的讀取是精確對(duì)應(yīng)的。

7、系統(tǒng)可擴(kuò)展性

x86+DPDK+網(wǎng)卡：對(duì)于大規(guī)模的被測(cè)系統(tǒng)，無(wú)論是x86的軟件實(shí)現(xiàn)還是FPGA+X86這樣的混合系統(tǒng)，單機(jī)都無(wú)法完成測(cè)試任務(wù)，系統(tǒng)級(jí)聯(lián)并且在10ns級(jí)別實(shí)現(xiàn)同步是必然的選項(xiàng)。x86系統(tǒng)面向通用計(jì)算，可以通過(guò)運(yùn)行NTP的協(xié)議可以實(shí)現(xiàn)多機(jī)同步，但是NTP的同步精度無(wú)法達(dá)到時(shí)延測(cè)試業(yè)務(wù)的要求；

FPGA+x86：在FPGA+x86的混合系統(tǒng)中，通過(guò)FPGA可以實(shí)現(xiàn)本地線纜級(jí)聯(lián)/GPS/1588v2等高精度同步技術(shù)，保證時(shí)間測(cè)試精度。

另外，在FPGA+x86混合系統(tǒng)的實(shí)現(xiàn)中，2-3層的流量處理在FPGA內(nèi)實(shí)現(xiàn)，不需要經(jīng)過(guò)CPU的協(xié)議?；蛘呱蠈討?yīng)用，CPU只需實(shí)現(xiàn)輕量級(jí)的配置下發(fā)、界面呈現(xiàn)等運(yùn)算，避免了CPU在線速收發(fā)流處理方面的天然缺陷；在X86一側(cè)，也可以靈活部署DPDK技術(shù)，由X86系統(tǒng)實(shí)現(xiàn)經(jīng)過(guò)加速后的純協(xié)議處理部分，將FPGA和x86的優(yōu)勢(shì)組合起來(lái)，實(shí)現(xiàn)高效的業(yè)務(wù)處理。

顯而易見(jiàn)，采用FPGA+x86混合系統(tǒng)是構(gòu)建高性能網(wǎng)絡(luò)測(cè)試儀的最佳選擇。

近年來(lái)，國(guó)外以太網(wǎng)測(cè)試技術(shù)發(fā)展迅速，新產(chǎn)品層出不窮，高速率高性能測(cè)試軟硬件平臺(tái)憑借多年的技術(shù)積累，美國(guó)的Spirent、keysight兩家公司在以太網(wǎng)測(cè)試領(lǐng)域長(zhǎng)期占據(jù)全球主導(dǎo)地位，在本行業(yè)內(nèi)走在世界前列。

國(guó)內(nèi)對(duì)以太網(wǎng)測(cè)試技術(shù)的研究始于21世紀(jì)初，經(jīng)過(guò)十幾年的努力，相關(guān)測(cè)試產(chǎn)品的自主設(shè)計(jì)開(kāi)發(fā)能力也取得了長(zhǎng)足進(jìn)步。

信而泰自2007年成立以來(lái)，作為國(guó)內(nèi)始終專注于通信網(wǎng)絡(luò)測(cè)試領(lǐng)域的儀表廠商，堅(jiān)持國(guó)產(chǎn)自主研發(fā)的創(chuàng)新機(jī)制，研發(fā)覆蓋了高中低端市場(chǎng)的多款網(wǎng)絡(luò)測(cè)試設(shè)備產(chǎn)品，客戶已經(jīng)覆蓋電信運(yùn)營(yíng)商、通信制造企業(yè)、科研院所、高等院校、電力、交通等眾多領(lǐng)域。信而泰網(wǎng)絡(luò)測(cè)試儀采用的是機(jī)箱式結(jié)構(gòu)+可插拔板卡的形式，硬件總體方案采用分布式計(jì)算架構(gòu)，在邏輯上分為數(shù)據(jù)平面和管理平面，在物理單元上將測(cè)試模塊和主控模塊獨(dú)立設(shè)計(jì)，使用FPGA+x86混合系統(tǒng)的架構(gòu)來(lái)實(shí)現(xiàn)高性能網(wǎng)絡(luò)測(cè)試儀的目標(biāo)。