淺談數(shù)據(jù)中心網(wǎng)絡(luò)基礎(chǔ)技術(shù)

物理網(wǎng)絡(luò)是一切網(wǎng)絡(luò)系統(tǒng)的基礎(chǔ)，承載著各種網(wǎng)絡(luò)流量的傳輸。大型數(shù)據(jù)中心物理網(wǎng)絡(luò)，很多采用經(jīng)典的三層連接，即Cisco定義的分層互連網(wǎng)絡(luò)模型（Hierarchical Internetworking Model）。如圖3(a)所示，分層互連網(wǎng)絡(luò)模型包含了以下三層：

接入層（Access Layer）：接入交換機(jī)通常位于機(jī)架頂部，所以它們也被稱為ToR（Top of Rack）交換機(jī)，它們物理連接服務(wù)器。

匯聚層（Aggregation Layer）：匯聚交換機(jī)連接Access交換機(jī)，同時提供其他的服務(wù)，例如防火墻，SSL offload，入侵檢測，網(wǎng)絡(luò)分析等。

核心層（Core Layer）：核心交換機(jī)為進(jìn)出數(shù)據(jù)中心的包提供高速的轉(zhuǎn)發(fā)，為多個匯聚層提供連接性。

(a) 傳統(tǒng)的3層結(jié)構(gòu)

(b) Clos Spine/Leaf兩層結(jié)構(gòu) 圖3 常見的數(shù)據(jù)中心網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu) 2008年，美國加州大學(xué)圣迭戈分校的研究學(xué)者提出了將Clos架構(gòu)用于數(shù)據(jù)中心中?，F(xiàn)在流行的Clos網(wǎng)絡(luò)架構(gòu)是一個二層的spine/leaf架構(gòu)，如圖3(b)所示。spine交換機(jī)之間或者leaf交換機(jī)之間不需要鏈接同步數(shù)據(jù)。每個leaf交換機(jī)的上行鏈路數(shù)等于spine交換機(jī)數(shù)量，同樣的每個spine交換機(jī)的下行鏈路數(shù)等于leaf交換機(jī)的數(shù)量。可以這樣說，spine交換機(jī)和leaf交換機(jī)之間是以full-mesh方式連接。在Clos spine/leaf架構(gòu)中，每一層的作用分別是：

葉子交換機(jī)（leaf switch）：相當(dāng)于傳統(tǒng)三層架構(gòu)中的接入交換機(jī)，作為TOR直接連接物理服務(wù)器。

主干交換機(jī)（spine switch）：相當(dāng)于核心交換機(jī)。spine和leaf交換機(jī)之間通過ECMP（Equal Cost Multi Path）動態(tài)選擇多條路徑。

對比spine/leaf網(wǎng)絡(luò)架構(gòu)和傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)，可以看出傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)是垂直的結(jié)構(gòu)，而spine/leaf網(wǎng)絡(luò)架構(gòu)是扁平的結(jié)構(gòu)，從結(jié)構(gòu)上看，spine/leaf架構(gòu)更易于水平擴(kuò)展。

2 虛擬網(wǎng)絡(luò)：VLAN和VxLAN

虛擬網(wǎng)絡(luò)是云計算多租戶共存的基礎(chǔ)，通過可動態(tài)配置的虛擬網(wǎng)絡(luò)，構(gòu)建足夠多的私有網(wǎng)絡(luò)域，承載多租戶的安全訪問隔離。VLAN是一種underlay網(wǎng)絡(luò)，而VxLAN則是基于underlay網(wǎng)絡(luò)隧道實現(xiàn)的Overlay網(wǎng)絡(luò)。

2.1 虛擬局域網(wǎng)VLAN

VLAN（Virtual Local Area Network，虛擬局域網(wǎng)）是同一廣播域中設(shè)備的邏輯分組。通常，通過在交換機(jī)上配置一些VLAN，將某些接口置于一個廣播域中，而將某些接口置于另一廣播域中。VLAN可以分布在多個交換機(jī)上，每個VLAN被當(dāng)作自己的子網(wǎng)或廣播域。這意味著廣播到網(wǎng)絡(luò)上的幀將僅在同一VLAN內(nèi)的端口之間傳遞。 VLAN的作用類似于物理LAN，但是即使主機(jī)未連接到同一交換機(jī)，它也可以將主機(jī)在同一廣播域中分組在一起。在網(wǎng)絡(luò)中使用VLAN的主要原因是：

VLAN增加了廣播域的數(shù)量，同時減小了廣播域的大??；

VLAN通過減少接收交換機(jī)泛洪幀副本的主機(jī)數(shù)量來降低安全風(fēng)險；

可以將保存敏感數(shù)據(jù)的主機(jī)保留在單獨(dú)的VLAN上，以提高安全性；

可以創(chuàng)建更靈活的網(wǎng)絡(luò)設(shè)計，以便按部門而不是按地理位置將用戶分組；

只需將端口配置到適當(dāng)?shù)腣LAN，即可輕松實現(xiàn)網(wǎng)絡(luò)更改。

如圖4(a)所示，拓?fù)滹@示了一個網(wǎng)絡(luò)，其中所有主機(jī)都位于同一VLAN中。如果沒有VLAN，則從主機(jī)A發(fā)送的廣播將到達(dá)網(wǎng)絡(luò)上的所有設(shè)備。如圖4(b)所示，通過將兩個交換機(jī)上的接口Fa0/0和Fa0/1放置在單獨(dú)的VLAN中，來自主機(jī)A的廣播將僅到達(dá)主機(jī)B，因為每個VLAN是一個單獨(dú)的廣播域，并且只有主機(jī)B與主機(jī)A處于同一VLAN內(nèi)。VLAN 3和VLAN 5中的主機(jī)甚至都不知道發(fā)生了通信。

? (a) 未設(shè)置VLAN的局域網(wǎng)

(b) 設(shè)置VLAN的局域網(wǎng) 圖4 VLAN示意圖 VLAN的幀格式是在802.1Q協(xié)議里規(guī)定的，如圖5所示，相比傳統(tǒng)的802.3協(xié)議包，增加了4字節(jié)的字段。第一個16bits字段是VLAN協(xié)議標(biāo)識符，值為0x8100。第二個字段包括優(yōu)先級Pri（3bits）、規(guī)范格式指示器CFI（1bit）、VLAN ID（12bit）。

圖5 傳統(tǒng)的802.3和802.1Q幀格式對比

2.2 虛擬擴(kuò)展局域網(wǎng)VxLAN

VxLAN（Virtual Extensible LAN，虛擬擴(kuò)展局域網(wǎng)），或許是目前最熱門的網(wǎng)絡(luò)虛擬化技術(shù)。VxLAN由RFC7348定義，這是2014年定稿的一個協(xié)議，VxLAN協(xié)議將Ethernet幀封裝在UDP內(nèi)，再加上8個字節(jié)的VxLAN header，用來標(biāo)識不同的二層網(wǎng)絡(luò)。 如圖6所示，除了常規(guī)的各層的包頭之外，VxLAN協(xié)議還定義了8個字節(jié)的VxLAN包頭。其中的24bit用來標(biāo)識不同的二層網(wǎng)絡(luò)，這樣總共可以標(biāo)識1600多萬個不同的二層網(wǎng)絡(luò)。一般的傳輸層端口號用來標(biāo)識進(jìn)程或者應(yīng)用，但是在VxLAN協(xié)議里面的，以太網(wǎng)幀封裝在UDP里面，UDP的源端口被用來在ECMP或者LACP做負(fù)載均衡；目的端口被用來標(biāo)識VxLAN數(shù)據(jù)，分配給VxLAN的端口號是4789。VxLAN數(shù)據(jù)是經(jīng)過VTEP（VxLAN Tunnel EndPoint，VxLAN隧道終端）封裝和解封裝的，相應(yīng)的VxLAN數(shù)據(jù)的外層IP地址就是VTEP的IP地址。最外層的MAC地址用來實現(xiàn)VTEP之間的數(shù)據(jù)傳遞

圖6 VxLAN包格式 VxLAN與VLAN的最大區(qū)別在于，VLAN只是修改了原始的以太網(wǎng)包頭，但是整個網(wǎng)絡(luò)數(shù)據(jù)包還是原來那個數(shù)據(jù)包，而VxLAN是將原始的以太網(wǎng)幀隱藏在UDP數(shù)據(jù)里面。經(jīng)過VTEP封裝之后，在網(wǎng)絡(luò)線路上看起來只有VTEP之間的UDP數(shù)據(jù)傳遞，原始的網(wǎng)絡(luò)數(shù)據(jù)包被掩蓋了。 相比VLAN，VxLAN要復(fù)雜很多。加上VLAN的先發(fā)優(yōu)勢，已經(jīng)在交換機(jī)硬件中得到了廣泛的支持。那為什么還要VxLAN？原因主要是：

VLAN ID數(shù)量限制。首先是VLAN能支持的二層網(wǎng)絡(luò)數(shù)量有限。VLAN有12bit用來標(biāo)識不同的二層網(wǎng)絡(luò)，這樣總共是4096個。當(dāng)前大型數(shù)據(jù)中心數(shù)以十萬計的節(jié)點數(shù)量，4096個虛擬網(wǎng)絡(luò)域捉襟見肘。而VxLAN有24bit用來標(biāo)識不同的二層網(wǎng)絡(luò)，這樣總共是1600多萬個虛擬網(wǎng)絡(luò)域，完全可以滿足大型數(shù)據(jù)中心的需求。

交換機(jī)MAC地址表限制。之前交換機(jī)的一個端口連接一個物理主機(jī)對應(yīng)一個MAC地址，但現(xiàn)在交換機(jī)的一個端口雖然還是連接一個物理主機(jī)但是可能連接幾十個虛擬機(jī)和相應(yīng)數(shù)量的MAC地址。交換機(jī)是根據(jù)MAC地址表實現(xiàn)二層轉(zhuǎn)發(fā)。交換機(jī)的內(nèi)存比較寶貴，所以MAC地址表的大小通常是有限的。如果使用VxLAN，虛擬機(jī)的以太網(wǎng)幀被VTEP封裝在UDP里面，一個物理主機(jī)對應(yīng)一個VTEP，所以交換機(jī)的MAC地址表，只需要記錄與物理主機(jī)數(shù)量相當(dāng)條目就可以了，虛擬化帶來的MAC地址表暴增的問題也不存在了。

靈活的虛機(jī)部署。采用VLAN網(wǎng)絡(luò)的虛擬環(huán)境，不存在overlay網(wǎng)絡(luò)。虛擬機(jī)的網(wǎng)絡(luò)數(shù)據(jù)，被打上VLAN Tag之后，直接在物理網(wǎng)絡(luò)上傳輸，與物理網(wǎng)絡(luò)上的VLAN是融合在一起的。這樣的好處是虛擬機(jī)能直接訪問到物理網(wǎng)絡(luò)的設(shè)備，但是壞處是，虛擬網(wǎng)絡(luò)現(xiàn)在不能打破物理網(wǎng)絡(luò)的限制。如果使用VxLAN，因為VxLAN通過UDP傳輸以太網(wǎng)幀，那相應(yīng)的可以在一個L3網(wǎng)絡(luò)上，傳遞L2的數(shù)據(jù)。物理網(wǎng)絡(luò)的二層邊界還存在，但是現(xiàn)在虛機(jī)的網(wǎng)絡(luò)數(shù)據(jù)在三層網(wǎng)絡(luò)傳輸，可以跨越物理二層網(wǎng)絡(luò)的限制。不管物理網(wǎng)絡(luò)的二層還是三層，虛擬機(jī)現(xiàn)在已經(jīng)感知不到了。通過VxLAN的封裝，虛擬機(jī)現(xiàn)在走的是一套獨(dú)立于物理網(wǎng)絡(luò)（underlay network）的overlay網(wǎng)絡(luò)。這樣的話，在物理網(wǎng)絡(luò)上，就不必把所有的交換機(jī)連起來，還是可以保持一個個小的L2 Pod。但是同時，虛擬機(jī)的部署和遷移，又不用受物理網(wǎng)絡(luò)的限制，整個數(shù)據(jù)中心可以保持一個平均的利用率。這是又一個VxLAN能解決，但是VLAN無法回避的問題。

更好的利用多條網(wǎng)絡(luò)鏈路。VLAN協(xié)議使用STP（Spanning Tree Protocol）來管理多條線路，STP根據(jù)優(yōu)先級和cost，只會選出一條線路來工作，這樣可以避免數(shù)據(jù)傳遞的環(huán)路。當(dāng)網(wǎng)絡(luò)流量較大的時，也不能通過增加線路來提升性能。而VxLAN因為是通過UDP封裝，在三層網(wǎng)絡(luò)上傳輸。雖然傳遞的還是二層的以太網(wǎng)幀，但是VxLAN可以利用一些基于三層的協(xié)議來實現(xiàn)多條線路共同工作，以實現(xiàn)負(fù)載均衡，例如ECMP和LACP等。當(dāng)網(wǎng)絡(luò)流量較大時，可以通過增加線路來減輕現(xiàn)有線路的負(fù)擔(dān)。這在提升數(shù)據(jù)中心網(wǎng)絡(luò)性能，尤其是東西向流量的性能時，尤其重要。

編輯：黃飛

?