SDN系統(tǒng)方法-葉棘網(wǎng)絡(luò)

本章介紹了由一組控制程序?qū)崿F(xiàn)的葉脊交換結(jié)構(gòu)。我們使用運行在ONOS上的SD-Fabric作為示例實現(xiàn)，在之前章節(jié)中我們已經(jīng)介紹過了SD-Fabric的很多方面，所以在進入細節(jié)之前先總結(jié)一下這些內(nèi)容。

• SD-Fabric支持葉脊拓撲，這種拓撲通常用于連接數(shù)據(jù)中心中的多個服務(wù)器機架(參見圖10)，但也支持多站點部署(參見圖17)。SD-Fabric基于裸金屬交換機，并配備前幾章介紹的軟件來構(gòu)建網(wǎng)絡(luò)，可以混合使用固定功能流水線和可編程流水線，但在一般在生產(chǎn)中使用前者。
• SD-Fabric支持大部分L2/L3特性，所有這些特性都作為SDN控制程序重新實現(xiàn)(除了用于中繼DHCP請求的DHCP服務(wù)器和用于與外部對等實體交換BGP路由的Quagga BGP服務(wù)器)。SD-Fabric實現(xiàn)每個服務(wù)器機架內(nèi)部的L2連接，以及機架之間的L3連接。
• SD-Fabric支持接入/邊緣網(wǎng)絡(luò)技術(shù)，如PON(見圖13)和RAN(見圖17)，包括支持(a)路由IP流量到/從連接到這些接入網(wǎng)絡(luò)的設(shè)備，以及(b)將接入網(wǎng)功能卸載到交換機上。

本章不會對所有這些特性進行全面介紹，重點關(guān)注的是數(shù)據(jù)中心架構(gòu)用例，這足以說明使用SDN原則構(gòu)建生產(chǎn)級網(wǎng)絡(luò)的方法。關(guān)于SD-Fabric設(shè)計決策的更多信息，請訪問SD-Fabric網(wǎng)站。

7.1 特性集

SDN提供了定制網(wǎng)絡(luò)的機會，但出于實用原因，采用SDN的第一個要求是重新實現(xiàn)現(xiàn)有功能，并以復(fù)制(或改進)傳統(tǒng)解決方案的彈性和可伸縮性的方式來實現(xiàn)。SD-Fabric滿足了這一要求，我們在這里總結(jié)一下。

首先，關(guān)于L2連接，SD-Fabric支持VLAN，包括基于VLAN id轉(zhuǎn)發(fā)流量的原生支持，以及基于外部/內(nèi)部VLAN id對的Q-in-Q支持。對Q-in-Q的支持與訪問網(wǎng)絡(luò)特別相關(guān)，其中使用雙標記來隔離屬于不同服務(wù)類別的流量。此外，SD-Fabric支持跨L3網(wǎng)絡(luò)的L2隧道(包括單標簽和雙標簽)。

其次，關(guān)于L3連接，SD-Fabric支持單播和組播地址的IPv4和IPv6路由。對于后者，SD-Fabric實現(xiàn)了集中式組播樹構(gòu)造(與運行像PIM這樣的協(xié)議相反)，包含了對希望加入/離開組播組的終端主機的IGMP支持。SD-Fabric還支持ARP(用于IPv4地址轉(zhuǎn)換)和NDP(用于IPv6鄰居發(fā)現(xiàn))，同時支持DHCPv4和DHCPv6。

然后，SD-Fabric在面對鏈路或交換機故障時提供高可用性。它通過組合眾所周知的技術(shù)來實現(xiàn)這一點: dual-homing、鏈路綁定和ECMP鏈路組。如圖39所示，SD-Fabric集群中的每臺服務(wù)器都連接到一對ToR(或葉子)交換機上，運行在每個計算服務(wù)器上的操作系統(tǒng)實現(xiàn)active-active鏈路綁定。然后，每個葉交換機由一對連接到兩個或更多脊交換機的鏈接連接起來，ECMP組定義了將每個或每組葉交換機連接到給定脊交換機的鏈接對或者鏈接組。集群作為一個整體有多個到外部路由的連接，如圖中的葉交換機3和4所示。圖39中沒有顯示的事實是，SD-Fabric運行在ONOS之上，ONOS本身是為了可用性而構(gòu)建的。在如下所示的配置中，ONOS(以及SD-Fabric控制應(yīng)用程序)在3到5個服務(wù)器上都有副本。

圖39. 通過dual-homing、鏈路綁定和ECMP組的組合實現(xiàn)高可用性。

鏈路聚合和ECMP的用處很明顯，可以增強包轉(zhuǎn)發(fā)機制，在一組(如一對)鏈路(出口端口)之間實現(xiàn)負載均衡，而不只有一個"最佳"出口鏈路(出口端口)。這既提高了帶寬，又在發(fā)生單個鏈路故障時可以自動恢復(fù)。另一種情況是交換機轉(zhuǎn)發(fā)流水線支持端口組，因此一旦建立了等價鏈接，就可以一直為數(shù)據(jù)平面服務(wù)。

明確的說，ECMP是SD-Fabric在網(wǎng)絡(luò)中的所有交換機上統(tǒng)一應(yīng)用的一種轉(zhuǎn)發(fā)策略。SD-Fabric控制程序感知拓撲，并相應(yīng)的將端口組推送到每個網(wǎng)絡(luò)交換機上，然后交換機將這些端口組應(yīng)用到其轉(zhuǎn)發(fā)流水線中，流水線通過端口組轉(zhuǎn)發(fā)數(shù)據(jù)包，不需要控制平面的額外參與。

最后，在可擴展性方面，SD-Fabric擁有支持多達120k路由和250k流表的能力。該配置包括兩個脊交換機和八個葉交換機，后者意味著支持多達四個機架的服務(wù)器。與可用性一樣，SD-Fabric的可擴展性直接得益于ONOS的擴展能力。

7.2 段路由(Segment Routing)

上一節(jié)重點介紹了SD-Fabric的功能，本節(jié)主要討論如何才能做到這一點。SD-Fabric的核心策略基于 段路由(Segment Routing, SR) 。"segment routing"一詞來源于這樣一種想法: 任意一對主機之間的端到端路徑可以由一組段序列構(gòu)建，即使用標簽交換沿著一段端到端路徑遍歷一組段序列。Segment routing是一種通用源路由方法，可以通過多種方式實現(xiàn)。對于SD-Fabric，segment routing利用了MPLS(Multi-Protocol Label Switching) 轉(zhuǎn)發(fā)平面，細節(jié)可以參考網(wǎng)絡(luò)信息。

當應(yīng)用于葉棘網(wǎng)絡(luò)時，總是涉及兩個部分: 從葉到棘和從棘到葉。SD-Fabric為交換機編寫程序，以匹配有標簽或無標簽數(shù)據(jù)包，并根據(jù)需要插入或彈出MPLS標簽。圖40說明了SR如何在SD-Fabric中工作，通過簡單的配置在一對主機(10.0.1.1和10.0.2.1)之間轉(zhuǎn)發(fā)流量。本例中，與Leaf 1相連的服務(wù)器在10.0.1/24子網(wǎng)中，與Leaf 2相連的服務(wù)器在10.0.2/24子網(wǎng)中，每個交換機都分配了一個MPLS id: 101、103、102和104。

圖40. 用于在一對主機之間轉(zhuǎn)發(fā)流量的Segment Routing示例。

當主機1發(fā)送目的地址為10.0.2.1的數(shù)據(jù)包時，默認情況下被轉(zhuǎn)發(fā)到服務(wù)器的ToR/葉交換機。Leaf 1匹配目的IP地址，了解到這個包需要穿過網(wǎng)絡(luò)并在Leaf 2出現(xiàn)以到達子網(wǎng)10.0.2/24，因此將MPLS標簽102壓到包上。因為有了ECMP, Leaf 1可以將產(chǎn)生的數(shù)據(jù)包轉(zhuǎn)發(fā)到任意一個脊交換機，此時交換機匹配MPLS標簽102，彈出標簽頭，并將其轉(zhuǎn)發(fā)到Leaf 2。最后，Leaf 2匹配目的IP地址并將數(shù)據(jù)包轉(zhuǎn)發(fā)給主機2。

從該示例中可以了解到，SR是高度格式化的。對于給定的葉脊交換機組合，SD-Fabric首先分配所有標識符，每個機架配置為共享一個IP前綴并在同一個VLAN上。SD-Fabric預(yù)計算可能的路徑，并在底層交換機中配置相應(yīng)的match/action規(guī)則。ECMP負責(zé)處理多路徑負載均衡的復(fù)雜性，它同樣不感知任何端到端路徑。從實現(xiàn)角度來看，實現(xiàn)SR的SD-Fabric控制程序?qū)⑦@些match/action規(guī)則傳給ONOS, ONOS反過來將它們配置在底層交換機上。SD-Fabric還維護自己的Atomix map，以管理連接葉脊交換機的ECMP組。

7.3 路由和多播(Routes and Multicast)

除了在葉交換機之間建立數(shù)據(jù)路徑的Segment Routing之外，SD-Fabric還利用了第6章介紹的Route和Mcast服務(wù)，它們決定每個IP前綴都有哪些葉脊交換機為其服務(wù)，以及在哪里能找到連接到每個多播組的所有主機。

SD-Fabric不通過類似OSPF或者PIM這樣的分布式協(xié)議來學(xué)習(xí)路由以及構(gòu)建組播樹。相反，它根據(jù)全局信息計算出正確答案，然后將映射推送到Route和Mcast服務(wù)。因為SD-Fabric強加了簡化約束，即每個機架恰好對應(yīng)一個IP子網(wǎng)，因此這么做很簡單。

為了更具體討論問題，考慮到在第6章中描述的所有ONOS服務(wù)都可以通過RESTful API調(diào)用，或者通過封裝了REST的GET、POST和DELETE調(diào)用的CLI調(diào)用。下面通過CLI來舉例說明(因為更容易理解)，可以通過查詢Route Service了解現(xiàn)有路由，如下所示:

onos > routes

B: Best route, R: Resolved route

Table: ipv4
B R  Network            Next Hop        Source (Node)
     0.0.0.0/0          172.16.0.1      FPM (127.0.0.1)
> *  1.1.0.0/18         10.0.1.20       STATIC
> *  10.0.99.0/24       10.0.1.1        FPM (127.0.0.1)
  *  10.0.99.0/24       10.0.6.1        FPM (127.0.0.1)
   Total: 2

Table: ipv6
B R  Network                   Next Hop                  Source (Node)
> *  2000::7700/120            fe80::288:ff:fe00:1       FPM (127.0.0.1)
> *  2000::8800/120            fe80::288:ff:fe00:2       FPM (127.0.0.1)
> *  2000::9900/120            fe80::288:ff:fe00:1       FPM (127.0.0.1)
  *  2000::9900/120            fe80::288:ff:fe00:2       FPM (127.0.0.1)
   Total: 3

可以給Route Service添加一個類似的靜態(tài)路由:

onos > route-add < prefix > < nexthop >
onos > route-add 1.1.0.0/18 10.0.1.20 
onos > route-add 2020::101/120 2000::1

需要注意一點，路由有兩種可能的源，一種是STATIC，意味著SD-Fabric在插入路由時完全知道它分配給集群中每個機架的前綴。(運維人員也可以使用CLI添加STATIC路由，但這只是一個例外，而不是規(guī)則。)

第二種源是FPM。FPM(轉(zhuǎn)發(fā)平面管理器, Forwarding Plane Manager)是另一個ONOS服務(wù)，屬于SD-Fabric服務(wù)套件之一。它負責(zé)從外部源學(xué)習(xí)路由，輸入給被配置為BGP鄰區(qū)的本地Quagga進程。每當FPM學(xué)習(xí)到外部路由，就會向Route Service添加相應(yīng)的基于前綴的下一跳映射，表明通過連接網(wǎng)絡(luò)和上游的葉交換機(例如圖39中的交換機3和4)，目的地前綴是可達的。

多播的情況與此類似，使用同樣的ONOS CLI可以創(chuàng)建新的多播路由并添加聚合器。例如:

onos > mcast-host-join -sAddr *
    -gAddr 224.0.0.1
    -srcs 00:AA:00:00:00:01/None
    -srcs 00:AA:00:00:00:05/None
    -sinks 00:AA:00:00:00:03/None
    -sinks 00:CC:00:00:00:01/None

該示例指定ASM (Any-Source Multicast) (sAddr *)、組播組地址(gAddr)、組源地址(srcs)和組聚合地址(sinks)。聚合地址可以通過如下指令移除:

onos > mcast-sink-delete -sAddr *
    -gAddr 224.0.0.1
    -h  00:AA:00:00:00:03/None

這里同樣沒有運行PIM，但是SD-Fabric為網(wǎng)絡(luò)運維人員提供了編程接口，通過一系列這樣的調(diào)用來定義多播樹。例如，當SD-Fabric作為向訂戶發(fā)送IPTV的接入網(wǎng)絡(luò)的一部分運行時，一種選擇是讓運營商機頂盒發(fā)出類似上面所示的調(diào)用(當然，使用RESTful API而不是CLI)。另一種選擇是讓機頂盒發(fā)送IGMP消息，SD-Fabric通過Packet Service(類似于攔截ARP和DHCP報文的Host Service)攔截IGMP消息。因此，當你下一次使用電視遙控器轉(zhuǎn)換頻道時，可能就在本書介紹的SDN軟件棧上觸發(fā)了過程調(diào)用!

7.4 定制轉(zhuǎn)發(fā)(Customized Forwarding)

SD-Fabric是SDN的典型用例，它是一組運行在網(wǎng)絡(luò)操作系統(tǒng)(Network OS)上控制程序，這些控制程序又運行在一組可編程交換機上，這些交換機以葉脊拓撲的架構(gòu)連接，每個交換機運行本地交換機操作系統(tǒng)。通過這種方式，SD-Fabric位于自下而上的SDN軟件棧的頂點。

但如果我們從一開始就知道支持SD-Fabric特性集的葉脊網(wǎng)絡(luò)正是我們想要的，那么可能會回到較低的層級，并以此為目的進行調(diào)整。隨著時間的推移，這就是SD-Fabric所發(fā)生的情況，產(chǎn)生了一個名為fabric.p4的P4程序?qū)崿F(xiàn)了定制轉(zhuǎn)發(fā)平面。我們通過對fabric.p4的概要總結(jié)來結(jié)束本章，重點介紹其設(shè)計如何與軟件棧的其他部分相結(jié)合。

在此之前，必須認識到，一開始就清楚知道想從網(wǎng)絡(luò)中獲得什么是非常高的標準。網(wǎng)絡(luò)的發(fā)展基于使用和運維的經(jīng)驗，沒人從一開始就知道如何編寫fabric.p4，但在整個軟件棧的其他層實現(xiàn)了一系列迭代之后(包括引入Tofino作為可編程轉(zhuǎn)發(fā)流水線)，fabric.p4出現(xiàn)了。 關(guān)鍵點是，可編程平臺使我們能夠不斷、快速的實現(xiàn)網(wǎng)絡(luò)的演進 。

換句話說，我們在第4章中提到的forard.p4是"按照我們想要的方式定制轉(zhuǎn)發(fā)平面"的典型例子，但該章剩余部分都在討論無需重新實現(xiàn)特定網(wǎng)絡(luò)的功能使forward.p4成為可能的所有機制。簡言之，fabric.p4是forward.p4的一個具體例子，不過我們現(xiàn)在只介紹了它與控制平面的關(guān)系。

關(guān)于fabric.p4有三件事情值得注意。首先，雖然它基于Broadcom OF-DPA流水線，但是松耦合的。這很有意義，因為SD-Fabric最初是在一組基于Tomahawk的交換機上實現(xiàn)的。fabric.p4流水線比OF-DPA更簡單，消除了SD-Fabric不需要的表，從而使得fabric.p4更容易控制。

其次，fabric.p4被設(shè)計來模擬ONOS的FlowObjective API，從而簡化了將FlowObjective映射到P4Runtime的過程。圖41顯示了fabric.p4的入口流水線，雖然沒有顯示出口流水線，但在一般情況下，只是對頭字段的簡單重寫。

圖41. 由fabric.p4支持的邏輯流水線，用于對FlowObjective API的Filtering, Forwarding和Next階段的并行處理。

最后，fabric.p4被設(shè)計為可配置的，從而可以有選擇的包含額外的功能。在編寫基于ASIC的轉(zhuǎn)發(fā)流水線進行優(yōu)化的代碼時，這并不容易，而且在實踐中會大量使用預(yù)處理條件(例如，#ifdefs)。下面顯示的代碼片段是fabric.p4的入口函數(shù)的主要控制塊。第9章將在較高層次上更深入討論下面這些可選擴展:

• UPF(用戶平面功能, User Plane Function): 增強IP功能，支持4G/5G移動網(wǎng)絡(luò)。
• BNG(寬帶網(wǎng)絡(luò)網(wǎng)關(guān), Broadband Network Gateway): 增強IP功能，支持光纖到家。
• INT(帶內(nèi)網(wǎng)絡(luò)遙測, Inband Network Telemetry): 增加度量收集和遙測輸出指令。

apply {
#ifdef UPF
    upf_normalizer.apply(hdr.gtpu.isValid(), hdr.gtpu_ipv4,
 hdr.gtpu_udp, hdr.ipv4, hdr.udp, hdr.inner_ipv4,
 hdr.inner_udp);
#endif // UPF

    // Filtering Objective
    pkt_io_ingress.apply(hdr, fabric_metadata, standard_metadata);
    filtering.apply(hdr, fabric_metadata, standard_metadata);
#ifdef UPF
    upf_ingress.apply(hdr.gtpu_ipv4, hdr.gtpu_udp, hdr.gtpu,
 hdr.ipv4, hdr.udp, fabric_metadata, standard_metadata);
#endif // UPF

    // Forwarding Objective
    if (fabric_metadata.skip_forwarding == _FALSE) {
        forwarding.apply(hdr, fabric_metadata, standard_metadata);
    }
    acl.apply(hdr, fabric_metadata, standard_metadata);

    // Next Objective
    if (fabric_metadata.skip_next == _FALSE) {
        next.apply(hdr, fabric_metadata, standard_metadata);
#if defined INT
        process_set_source_sink.apply(hdr, fabric_metadata,
     standard_metadata);
#endif // INT
    } 
#ifdef BNG
    bng_ingress.apply(hdr, fabric_metadata, standard_metadata);
#endif // BNG
}

例如，upf.p4(未顯示)實現(xiàn)了UPF擴展的轉(zhuǎn)發(fā)平面，支持包括3GPP蜂窩網(wǎng)絡(luò)標準要求的GTP隧道封裝/解封裝，將SD-Fabric網(wǎng)絡(luò)連接到無線接入網(wǎng)絡(luò)基站。同樣，bng.p4(未顯示)實現(xiàn)PPPoE終端，一些無源光網(wǎng)絡(luò)部署通過它將SD-Fabric網(wǎng)絡(luò)連接到家庭路由器。最后，這段沒什么實際意義的代碼片段介紹了fabric.p4核心功能的基本結(jié)構(gòu)。首先應(yīng)用 filtering對象 (filtering.apply)，然后應(yīng)用 forwarding對象 (forwarding.apply和acl.apply)，最后應(yīng)用 next對象 (next.apply)。

除了選擇包含哪些擴展之外，預(yù)處理器還定義了幾個常量，包括每個邏輯表的大小。顯然，這種實現(xiàn)是構(gòu)建可配置轉(zhuǎn)發(fā)流水線的底層方法。設(shè)計更高級的語言結(jié)構(gòu)，包括在運行時向流水線動態(tài)添加功能的能力，還是一個未完成的研究課題。

審核編輯：郭婷