SDN產(chǎn)品打造新一代混合云網(wǎng)絡(luò)架構(gòu)

在當(dāng)今云計(jì)算、人工智能、大數(shù)據(jù)平臺(tái)等一系列顛覆性的技術(shù)創(chuàng)新背后，軟件的價(jià)值被前所未有的推向高峰，“軟件吞噬一切”在整個(gè)IT行業(yè)中盛行，幾十年沉淀下來(lái)的網(wǎng)絡(luò)也未能幸免。各大標(biāo)準(zhǔn)組織和學(xué)術(shù)派爭(zhēng)先恐后的制定網(wǎng)絡(luò)行業(yè)標(biāo)準(zhǔn)，試圖打破傳統(tǒng)網(wǎng)絡(luò)的技術(shù)限制和商業(yè)壁壘，用標(biāo)準(zhǔn)軟件來(lái)定義功能，用通用硬件來(lái)承載軟件，最終為用戶(hù)帶來(lái)物美價(jià)廉、互通性高、可持續(xù)性升級(jí)換代的新一代網(wǎng)絡(luò)解決方案。

SDN應(yīng)運(yùn)而生，提出了將網(wǎng)絡(luò)控制平面和轉(zhuǎn)發(fā)平面解耦，采用相對(duì)集中式的控制器替代原有分布式控制，通過(guò)開(kāi)放的可編程接口實(shí)現(xiàn)“軟件定義”。這種可編程的網(wǎng)絡(luò)架構(gòu)特性，為網(wǎng)絡(luò)資源的設(shè)計(jì)、管理和使用提供了更多的可能性，從而更容易推動(dòng)整個(gè)網(wǎng)絡(luò)的變革與發(fā)展。

盛大游戲一直通過(guò)采用先進(jìn)云計(jì)算技術(shù)助推游戲產(chǎn)業(yè)的發(fā)展，打造出國(guó)內(nèi)一流的私有云平臺(tái)G云1.0。隨著游戲運(yùn)營(yíng)環(huán)境的急劇變化，為承載紛繁復(fù)雜的業(yè)務(wù)體系及線(xiàn)上游戲運(yùn)營(yíng)系統(tǒng)，盛大游戲希望能緊跟行業(yè)技術(shù)發(fā)展態(tài)勢(shì)，進(jìn)而重構(gòu)整個(gè)游戲混合云網(wǎng)絡(luò)架構(gòu)。

在設(shè)計(jì)盛大游戲G云2.0網(wǎng)絡(luò)過(guò)程中，要求充分考慮盛大游戲系統(tǒng)架構(gòu)的通用性和易用性，同時(shí)需要針對(duì)游戲行業(yè)的特殊性，例如網(wǎng)絡(luò)延時(shí)、彈性擴(kuò)容、安全等進(jìn)行定制化的架構(gòu)設(shè)計(jì)，所以新的網(wǎng)絡(luò)架構(gòu)必須要著眼于以下幾點(diǎn)：

標(biāo)準(zhǔn)且開(kāi)放化：無(wú)論是物理網(wǎng)絡(luò)還是虛擬化網(wǎng)絡(luò)，必須采用業(yè)界相對(duì)標(biāo)準(zhǔn)的組網(wǎng)模型和網(wǎng)絡(luò)協(xié)議，兼顧開(kāi)放性和互通性，實(shí)現(xiàn)網(wǎng)絡(luò)的模塊化設(shè)計(jì)，為今后平臺(tái)的演進(jìn)提供標(biāo)準(zhǔn)化模型；

靈活擴(kuò)展性：需要引入Overlay VxLAN技術(shù)替代原有的VLAN來(lái)更加靈活的支持云主機(jī)對(duì)于網(wǎng)絡(luò)的要求，包括：熱遷移、租戶(hù)隔離、多租戶(hù)等；

高性能：對(duì)于虛擬化網(wǎng)絡(luò)Overlay，必須滿(mǎn)足游戲場(chǎng)景下對(duì)網(wǎng)絡(luò)延時(shí)的苛刻要求。VPC網(wǎng)絡(luò)需要滿(mǎn)足租戶(hù)各云主機(jī)（虛機(jī)、物理機(jī)）之間高吞吐、低延時(shí)的網(wǎng)絡(luò)互通要求；

高可靠性：無(wú)論是Underlay網(wǎng)絡(luò)，還是SDN控制器，必須充分考慮單點(diǎn)故障和HA等機(jī)制，從而保障整個(gè)網(wǎng)絡(luò) 7 x 24小時(shí)高可靠性要求；

解耦合：需要充分考慮控制和轉(zhuǎn)發(fā)平面的解耦合，以及虛擬化網(wǎng)絡(luò)和物理設(shè)備的解耦，以便實(shí)現(xiàn)云主機(jī)的靈活接入，熱遷移等功能；

自動(dòng)化：引入SDN控制器，實(shí)現(xiàn)對(duì)租戶(hù)網(wǎng)絡(luò)VPC的集中管理，支持物理網(wǎng)絡(luò)和虛擬化網(wǎng)絡(luò)的快速部署和靈活擴(kuò)展。

盛大游戲引入思華ExpressNET

SDN產(chǎn)品打造新一代混合云網(wǎng)絡(luò)架構(gòu)

經(jīng)過(guò)雙方充分的需求分析和論證工作，引入以盛科SDN白牌交換機(jī)為網(wǎng)絡(luò)承載（同時(shí)支持華為等數(shù)據(jù)中心交換機(jī)），思華科技ExpressNET為控制平面的方案。該方案沒(méi)有僵化地采用純OpenFlow的方式，而采用了支持VxLAN的數(shù)據(jù)中心交換機(jī)和開(kāi)放API相結(jié)合方式，由網(wǎng)絡(luò)設(shè)備提供出足夠靈活的API供思華的SDN控制器（ExpressNET）調(diào)用，思華ExpressNET整體架構(gòu)如下圖所示：

<圖示1：思華ExpressNET整體架構(gòu)>

盛大游戲G云2.0 整體網(wǎng)絡(luò)部署架構(gòu)如下圖所示：

<圖示2：G云2.0 網(wǎng)絡(luò)部署架構(gòu)>

思華ExpressNET網(wǎng)絡(luò)平臺(tái)為云主機(jī)、裸機(jī)提供了必要的實(shí)體和虛擬網(wǎng)絡(luò)環(huán)境，包括但不限于：VPC內(nèi)部二三層?xùn)|西向訪(fǎng)問(wèn)、南北向公網(wǎng)訪(fǎng)問(wèn)、虛機(jī)和物理機(jī)訪(fǎng)問(wèn)、跨云跨IDC訪(fǎng)問(wèn)等，同時(shí)以VPC為單元對(duì)租戶(hù)進(jìn)行安全隔離、公網(wǎng)QoS限制。整個(gè)網(wǎng)絡(luò)架構(gòu)主要包含了下列組件及其功能特點(diǎn)：

1.由可編程標(biāo)準(zhǔn)化網(wǎng)絡(luò)硬件設(shè)備（例如盛科E系列，華為CloudEngine系列等）組成Clos IP Fabric：其承擔(dān)了整個(gè)底層網(wǎng)絡(luò)（Underlay）功能，為上層的虛擬化網(wǎng)絡(luò)提供了堅(jiān)實(shí)的網(wǎng)絡(luò)基礎(chǔ)，同時(shí)作為VxLAN的端點(diǎn)，提供高性能的VTEP隧道終結(jié)。該架構(gòu)具有運(yùn)維簡(jiǎn)單、等價(jià)多路徑、水平擴(kuò)容和可編程化特點(diǎn)，已被互聯(lián)網(wǎng)公司，數(shù)據(jù)中心和傳統(tǒng)企業(yè)IT所廣泛接受；

2.位于各計(jì)算節(jié)點(diǎn)和Neutron節(jié)點(diǎn)的思華ExpressNET分布式控制器：作為思華ExpressNET尤為重要的虛擬化網(wǎng)絡(luò)的控制平面，提供二層、三層網(wǎng)絡(luò)、DHCP、NAT、QoS、ARP Proxy等功能，各功能采用App Plugin的方式實(shí)現(xiàn)，易于擴(kuò)展。采用分布式控制器的好處在于消除了單點(diǎn)故障，性能有保障，同時(shí)兼顧了SDN的設(shè)計(jì)理念，將控制和轉(zhuǎn)發(fā)平面進(jìn)行了解耦；

3.位于Neutron節(jié)點(diǎn)的思華ExpressNET交換機(jī)控制器：該控制器負(fù)責(zé)通過(guò)廠商自定義RPC或者標(biāo)準(zhǔn)的NetConf協(xié)議對(duì)Underlay網(wǎng)絡(luò)設(shè)備進(jìn)行管控，從而打通虛擬和物理網(wǎng)絡(luò)的控制平面，真正做到虛實(shí)網(wǎng)絡(luò)的結(jié)合與聯(lián)動(dòng)；

4.位于各計(jì)算節(jié)點(diǎn)的Open vSwitch（以下簡(jiǎn)稱(chēng)為OVS）：以O(shè)penFlow流表的形式提供了高效的網(wǎng)絡(luò)轉(zhuǎn)發(fā)平面，并支持Intel DPDK擴(kuò)展，以滿(mǎn)足今后對(duì)性能的進(jìn)一步要求；

5.采用VxLAN隧道封裝技術(shù)提供租戶(hù)VPC虛擬化網(wǎng)絡(luò)：不僅實(shí)現(xiàn)了虛機(jī)到虛機(jī)的二/三層網(wǎng)絡(luò)連通，同時(shí)實(shí)現(xiàn)了VPC內(nèi)虛機(jī)到裸機(jī)的二/三層直通，以及G云2.0到用戶(hù)線(xiàn)下IDC的直通，各VPC安全隔離；

6.考慮到Host VxLAN性能的限制，采用VxLAN Offloading技術(shù)將VxLAN加/解封裝上移到物理交換機(jī)ToR上，不僅提高了網(wǎng)絡(luò)吞吐、降低了網(wǎng)絡(luò)延時(shí)，同時(shí)將寶貴的主機(jī)計(jì)算資源預(yù)留給云主機(jī)。

ExpressNET, 重新定義網(wǎng)絡(luò)

網(wǎng)絡(luò)設(shè)計(jì)之初，充分分析了OpenStack 原生Neutron網(wǎng)絡(luò)架構(gòu)上的一些缺陷和不足，在兼容Neutron ML2 Framework的基礎(chǔ)上，參考了市面上已有的開(kāi)源項(xiàng)目，引入了思華ExpressNET全面替換原生Neutron網(wǎng)絡(luò)方案，從而彌補(bǔ)了原生方案的不足，主要體現(xiàn)在以下幾個(gè)方面：

1、ExpressNET以O(shè)penFlow流表實(shí)現(xiàn)分布式DHCP取代集中式的DHCP：OpenStack原生模型設(shè)計(jì)會(huì)在Neutron節(jié)點(diǎn)上造成大量的資源占用和單點(diǎn)故障風(fēng)險(xiǎn)，例如有100個(gè)租戶(hù)，每個(gè)租戶(hù)有100個(gè)子網(wǎng)，那么在Neutron節(jié)點(diǎn)上就要維持100 x 100 = 10,000個(gè)DHCP進(jìn)程，消耗大量CPU資源，并且增加了維護(hù)和排障難度。

<圖示3：OpenStack原生集中式的DHCP模型>

思華ExpressNET解決方案利用OVS OpenFlow流表將DHCP功能分散到各個(gè)計(jì)算節(jié)點(diǎn)實(shí)現(xiàn)，不僅有效的避免單點(diǎn)故障，同時(shí)減少了對(duì)計(jì)算資源的消耗，簡(jiǎn)化了系統(tǒng)部署，降低了運(yùn)維排障難度。

<圖示4：思華Express NET分布式DHCP模型>

2、ExpressNET以O(shè)penFlow流表方式實(shí)現(xiàn)的分布式vRouter和DNAT替代原生Neutron的vRouter模型。OpenStack原生的Neutron有兩種vRouter模型：一種是早期版本的集中式vRouter實(shí)現(xiàn)，該模型下所有的三層流量都會(huì)經(jīng)過(guò)位于Neutron節(jié)點(diǎn)的虛擬路由器（通過(guò)網(wǎng)絡(luò)Namespace實(shí)現(xiàn)），不僅增加了網(wǎng)絡(luò)單點(diǎn)故障、限制了網(wǎng)絡(luò)吞吐，同時(shí)加大了網(wǎng)絡(luò)延時(shí)，如下圖所示：

<圖示5：OpenStack原生集中式的vRouter>

隨后OpenStack提出了分布式vRouter即DVR的概念，在各計(jì)算節(jié)點(diǎn)上為租戶(hù)創(chuàng)建多個(gè)Namespace并安裝相應(yīng)路由作為租戶(hù)本地化的vRouter，雖然該方案在一定程度上解決了集中式模型的一些問(wèn)題，但由于其依舊采用Namespace的實(shí)現(xiàn)方式，不僅耗費(fèi)計(jì)算節(jié)點(diǎn)大量的CPU資源，公網(wǎng)IP地址（用于Floating IP Namespace），同時(shí)并未降低網(wǎng)絡(luò)延時(shí)和排障難度，如下圖所示：

<圖示6：OpenStack原生分布式的vRouter>

而在盛大游戲的案例中，思華ExpressNET擁有L2/L3和DNAT App Plugin，使得位于各計(jì)算節(jié)點(diǎn)的本地控制器提供路由和地址轉(zhuǎn)換等控制平面功能，并結(jié)合OVS OpenFlow流表實(shí)現(xiàn)轉(zhuǎn)發(fā)平面功能，不僅有效的解決了集中式路由帶來(lái)的諸多問(wèn)題，同時(shí)降低了復(fù)雜度、提高了網(wǎng)絡(luò)彈性，釋放了本地計(jì)算資源，減少了公網(wǎng)IP地址浪費(fèi)以及降低了網(wǎng)絡(luò)延時(shí)，如下圖所示：

<圖示7：思華ExpressNET 以O(shè)VS流表方式實(shí)現(xiàn)分布式vRouter>

3、ExpressNET支持多公網(wǎng)網(wǎng)段（Multiple Elastic IP Pool）：原生的OpenStack無(wú)法很好的支持多外網(wǎng)功能，導(dǎo)致平臺(tái)無(wú)法使用多個(gè)公網(wǎng)IP網(wǎng)段，從而增加了網(wǎng)絡(luò)實(shí)際部署難度。如下圖所示，當(dāng)申請(qǐng)了多個(gè)公網(wǎng)網(wǎng)段后，由于OpenStack的限制，無(wú)法讓虛機(jī)VM1申請(qǐng)缺省公網(wǎng)網(wǎng)段Pool 1以外的地址段，如EIP Pool 2 & Pool 3（每個(gè)虛機(jī)一個(gè)公網(wǎng)EIP）：

<圖示8：OpenStack原生的單一外網(wǎng)限制>

思華ExpressNET取消該限制并增加相應(yīng)的保護(hù)機(jī)制，使得平臺(tái)可以將任何可用的公網(wǎng)地址段與分布式的路由器相關(guān)聯(lián)，極大的降低了對(duì)IDC網(wǎng)絡(luò)的需求。如下圖所示，在平臺(tái)管理員創(chuàng)建完額外的外網(wǎng)及網(wǎng)段后（External Network 2 & 3），租戶(hù)可以在控制臺(tái)中從EIP Pool 1, 2 &3中隨機(jī)挑出一個(gè)公網(wǎng)IP，綁定到其指定的虛機(jī)或者物理機(jī)上

<圖示9：思華ExpressNET取消限制，支持多公網(wǎng)網(wǎng)段>

4、ExpressNET擴(kuò)展OpenStack 網(wǎng)絡(luò)功能，支持VPC與線(xiàn)下IDC互聯(lián)互通：盛大游戲案例中必須要考慮用戶(hù)云上資源和原有IDC的互聯(lián)互通，典型的應(yīng)用場(chǎng)景是各工作室或者技術(shù)部門(mén)既有在原平臺(tái)中的Legacy系統(tǒng)，又有新業(yè)務(wù)在G云2.0上開(kāi)展，同時(shí)新舊系統(tǒng)需要二層或者三層網(wǎng)絡(luò)直通而不經(jīng)過(guò)NAT。如下圖所示，思華ExpressNET方案利用分布式虛擬路由器和底層Underlay網(wǎng)絡(luò)設(shè)備，實(shí)現(xiàn)了云上VPC與云下IDC不經(jīng)過(guò)NAT轉(zhuǎn)換的網(wǎng)絡(luò)直通，云上的虛機(jī)或者物理機(jī)可以直接訪(fǎng)問(wèn)盛大游戲原有Legacy系統(tǒng)的IP，不僅滿(mǎn)足了用戶(hù)原有的使用習(xí)慣，降低了上云的復(fù)雜度，同時(shí)保證了網(wǎng)絡(luò)的延續(xù)性和透明性。

<圖示10：思華ExpressNET實(shí)現(xiàn)VPC與線(xiàn)下IDC互聯(lián)互通>

5、ExpressNET支持跨IDC的VPC Peering：雖然該需求目前在盛大云平臺(tái)中并不是非常強(qiáng)烈，但是伴隨著多地IDC服務(wù)的提供，部分平臺(tái)使用者希望將分散在各地IDC的VPC進(jìn)行互通，這也是很多公有云例如 AWS、阿里云所推出的VPC Peering網(wǎng)絡(luò)服務(wù)。相應(yīng)的解決方案可以按照以前AWS或者阿里云以用戶(hù)VPC為單位，部署相應(yīng)的軟件VPN網(wǎng)關(guān)，實(shí)現(xiàn)VPC的互聯(lián)互通，但是缺點(diǎn)是用戶(hù)參與度過(guò)高，部署方案復(fù)雜，性能受限。參考了最新的阿里云和AWS的VPC Peering高速互聯(lián)方案，依托盛大游戲原有的內(nèi)網(wǎng)資源，思華ExpressNET通過(guò)在虛擬路由器中引入成熟的靜／動(dòng)態(tài)路由協(xié)議，結(jié)合外部網(wǎng)絡(luò)設(shè)備，打造一張高性能、高擴(kuò)展性的DCI（數(shù)據(jù)中心互連）網(wǎng)絡(luò)。數(shù)據(jù)中心之間的網(wǎng)絡(luò)設(shè)備借助成熟的BGP-EVPN技術(shù)實(shí)現(xiàn)控制平面，依舊采用VxLAN作為轉(zhuǎn)發(fā)平面保證整個(gè)設(shè)計(jì)的一致性。

<圖示11：思華ExpressNET實(shí)現(xiàn)跨IDC的VPC Peering>

通過(guò)引入思華科技ExpressNET SDN解決方案后，盛大游戲G云2.0網(wǎng)絡(luò)平臺(tái)SDN收獲的不僅僅是數(shù)據(jù)中心、基礎(chǔ)架構(gòu)，而是包括盛大游戲各個(gè)場(chǎng)景的服務(wù)和功能，都能在通用的策略框架下實(shí)現(xiàn)高效、可靠、安全地運(yùn)營(yíng)，實(shí)現(xiàn)無(wú)縫的移動(dòng)性、無(wú)縫的工作負(fù)載遷移。

盛大游戲技保平臺(tái)中心總監(jiān)應(yīng)華說(shuō)，“在建設(shè)G云2.0之初，我們也分析參考了市面上多家SDN的技術(shù)，包括原生Neutron，多少都存在一些缺陷和不足，并考慮到被單一廠家從軟件到硬件全部綁定的風(fēng)險(xiǎn)。最終我們決定選擇思華ExpressNET作為G云2.0的網(wǎng)絡(luò)架構(gòu)，主要還是看重ExpressNET采用了SDN白牌交換機(jī)和開(kāi)放API相結(jié)合的方式，各個(gè)IDC可以選擇不同廠家的網(wǎng)絡(luò)設(shè)備，有效降低了對(duì)單一硬件廠商的依賴(lài)度。再加上思華多年的技術(shù)積累，能夠?yàn)槭⒋笥螒蛱峁┒ㄖ苹腟DN開(kāi)發(fā)服務(wù)，是我們值得信賴(lài)的長(zhǎng)期合作伙伴?！?/p>