簡(jiǎn)單介紹GaussDB網(wǎng)絡(luò)調(diào)度涉及的調(diào)度算法

一、常見的調(diào)度算法

QoS（Quality of Service）即服務(wù)質(zhì)量，是一種調(diào)度控制機(jī)制，是網(wǎng)絡(luò)設(shè)計(jì)和運(yùn)維的重要技術(shù)。在帶寬資源有限情況下，針對(duì)不同用戶 / 業(yè)務(wù)采用不同的調(diào)度策略，為任務(wù)提供端到端的服務(wù)質(zhì)量保證。

QoS 本身并不會(huì)拓展帶寬，提升網(wǎng)絡(luò)吞吐量，相反設(shè)計(jì)不合理的調(diào)度反而有可能降低整體吞吐量。QoS 的一個(gè)關(guān)鍵點(diǎn)是允許不平等的網(wǎng)絡(luò)調(diào)度，降低時(shí)延要求低、性能和抖動(dòng)不敏感的業(yè)務(wù)調(diào)度優(yōu)先級(jí)，優(yōu)先調(diào)度時(shí)延要求高、帶寬要求一般不高的業(yè)務(wù)。

調(diào)度器是實(shí)現(xiàn) QoS 的關(guān)鍵，調(diào)度器根據(jù)優(yōu)先級(jí)和帶寬配比進(jìn)行業(yè)務(wù)調(diào)度。調(diào)度器的輸入是要提供服務(wù)的數(shù)據(jù)包隊(duì)列，輸出是完成調(diào)度輸出的一個(gè)個(gè)數(shù)據(jù)包。調(diào)度算法是調(diào)度器的核心，設(shè)計(jì)調(diào)度算法要充分考慮業(yè)務(wù)場(chǎng)景和用戶需求，沒有萬能的調(diào)度算法，只有合適的調(diào)度算法。常見的調(diào)度算法有很多，這里我們只簡(jiǎn)單介紹 GaussDB 網(wǎng)絡(luò)調(diào)度涉及的調(diào)度算法：

1.FIFO 調(diào)度

FIFO (First In Forst Out) 調(diào)度使用的是 FCFS 策略，是一種不考慮 QoS 的調(diào)度算法。FIFO 調(diào)度不進(jìn)行報(bào)文分類，所有業(yè)務(wù)共用一個(gè)隊(duì)列，按照請(qǐng)求進(jìn)入隊(duì)列順序進(jìn)行調(diào)度。如下圖所示，三種不同業(yè)務(wù)的請(qǐng)求全部加入到一個(gè)隊(duì)列中，按照 FIFO 的規(guī)則進(jìn)行調(diào)度。



FIFO 調(diào)度實(shí)現(xiàn)簡(jiǎn)單、開銷小，但是 FIFO 不區(qū)分請(qǐng)求類型、不考慮 QoS，對(duì)時(shí)延、抖動(dòng)敏感的業(yè)務(wù)不友好，無法保證關(guān)鍵業(yè)務(wù)服務(wù)質(zhì)量。

2.SP 調(diào)度

SP (Strict Priority) 嚴(yán)格優(yōu)先級(jí)調(diào)度嚴(yán)格按照隊(duì)列優(yōu)先級(jí)進(jìn)行調(diào)度，只有在高優(yōu)先級(jí)隊(duì)列中請(qǐng)求全部調(diào)度完成的情況下，才會(huì)考慮調(diào)度低優(yōu)先級(jí)隊(duì)列中的請(qǐng)求。如下圖所示，三種不同業(yè)務(wù)分別對(duì)應(yīng)三種不同優(yōu)先級(jí)的隊(duì)列：高優(yōu)隊(duì)列、中優(yōu)隊(duì)列和低優(yōu)隊(duì)列。不同業(yè)務(wù)的請(qǐng)求分別加入到相應(yīng)優(yōu)先級(jí)隊(duì)列中，調(diào)度時(shí)優(yōu)先調(diào)度高優(yōu)隊(duì)列請(qǐng)求，高優(yōu)隊(duì)列中請(qǐng)求調(diào)度完成后，依次調(diào)度中優(yōu)和低優(yōu)隊(duì)列請(qǐng)求。



SP 調(diào)度算法的實(shí)現(xiàn)比較簡(jiǎn)單，優(yōu)點(diǎn)是可以保證關(guān)鍵業(yè)務(wù)可以優(yōu)先調(diào)度到，可以最大限度的降低網(wǎng)絡(luò)延遲和抖動(dòng)；缺點(diǎn)是網(wǎng)絡(luò)擁塞，高優(yōu)先級(jí)隊(duì)列中一直有請(qǐng)求時(shí)，會(huì)導(dǎo)致低優(yōu)先級(jí)隊(duì)列中請(qǐng)求一直調(diào)度不到，出現(xiàn) “餓死” 的情況。

3.RR 調(diào)度

RR (Round Robin) 輪詢調(diào)度通常采用分時(shí)機(jī)制，為每個(gè)隊(duì)列分配一個(gè)時(shí)間片或調(diào)度時(shí)刻。RR 調(diào)度按照固定順序循環(huán)調(diào)度每一個(gè)隊(duì)列中的請(qǐng)求，每次調(diào)度相同數(shù)量（一般是 1 個(gè)）的請(qǐng)求，且在調(diào)度過程中不考慮任何優(yōu)先級(jí)。算法較為簡(jiǎn)單且容易實(shí)現(xiàn)，同時(shí)不會(huì)產(chǎn)生 “餓死” 問題。如下圖所示，RR 調(diào)度輪詢調(diào)度隊(duì)列 1/2/3 中的請(qǐng)求，每次調(diào)度一個(gè)隊(duì)列中的一個(gè)請(qǐng)求，直到請(qǐng)求調(diào)度完成。



RR 調(diào)度假設(shè)所有隊(duì)列的優(yōu)先級(jí)和帶寬需求都是相同的，調(diào)度時(shí)不考慮包長(zhǎng)、隊(duì)列時(shí)延和帶寬需求。隊(duì)列包長(zhǎng)差異比較大時(shí)，可能導(dǎo)致不同隊(duì)列實(shí)際占用帶寬差異巨大，同時(shí)因?yàn)椴豢紤]時(shí)延和帶寬需求，導(dǎo)致無法做到對(duì)網(wǎng)絡(luò)流量的精準(zhǔn)隔離和調(diào)度。

4.WRR 調(diào)度

輪詢調(diào)度保證了各隊(duì)列在請(qǐng)求調(diào)度時(shí)的公平性，但是無法滿足個(gè)性化的調(diào)度需求。WRR (Weighted Round Robin) 加權(quán)輪詢調(diào)度在輪詢的基礎(chǔ)上為隊(duì)列增加權(quán)重，每個(gè)隊(duì)列設(shè)置一個(gè)計(jì)數(shù)器，根據(jù)權(quán)重初始化計(jì)數(shù)器初始值，每調(diào)度一個(gè)報(bào)文，計(jì)數(shù)器減 1。權(quán)重越大，每次輪詢調(diào)度次數(shù)越多，能調(diào)度的包數(shù)量也就越多。如下圖所示，三個(gè)隊(duì)列權(quán)重分別是 31，每一輪調(diào)度的包數(shù)量比例就是 31。



當(dāng)所有隊(duì)列權(quán)重值都是 1 時(shí)，WRR 調(diào)度退化為 RR 調(diào)度。WRR 的優(yōu)點(diǎn)是可以按比例調(diào)度各個(gè)隊(duì)列的請(qǐng)求，適應(yīng)性更強(qiáng)，但是由于調(diào)度時(shí)沒有考慮包長(zhǎng)，還是按照請(qǐng)求個(gè)數(shù)進(jìn)行調(diào)度，在請(qǐng)求長(zhǎng)度變化時(shí)無法保證各隊(duì)列按照設(shè)置比例占用帶寬，而用戶一般關(guān)心和感知到的是帶寬。此外隊(duì)列請(qǐng)求長(zhǎng)度不一致時(shí)，WRR 調(diào)度對(duì)請(qǐng)求長(zhǎng)度較小的隊(duì)列帶來不公平性。

5.DWRR 調(diào)度

為了解決隊(duì)列請(qǐng)求長(zhǎng)度不一致帶來的不公平性，DWRR (Deficit Weighted Round Robin) 差分加權(quán)輪詢調(diào)度在 WRR 基礎(chǔ)上，基于請(qǐng)求長(zhǎng)度而非請(qǐng)求個(gè)數(shù)設(shè)置權(quán)值，按照權(quán)重和請(qǐng)求長(zhǎng)度進(jìn)行調(diào)度。DWRR 為每個(gè)隊(duì)列設(shè)置一個(gè)計(jì)數(shù)器，計(jì)數(shù)器初始化為 weight * MTU，每次調(diào)度計(jì)數(shù)器減去請(qǐng)求長(zhǎng)度。具體算法邏輯如下：

初始化隊(duì)列計(jì)數(shù)器 DC = weight * MTU；

調(diào)度器輪詢非空隊(duì)列，如果隊(duì)列 DC <= 0，則跳過輪詢下一個(gè)隊(duì)列；

調(diào)度隊(duì)列請(qǐng)求，計(jì)數(shù)器 DC = DC - request_len；

所有隊(duì)列 DC < 0 或無請(qǐng)求調(diào)度時(shí)，DC = DC + weight * MTU。

DWRR 調(diào)度克服了請(qǐng)求長(zhǎng)度變化帶來的不公平性，提供了更為精準(zhǔn)的帶寬分配。但是隊(duì)列數(shù)量較大或者 MTU 設(shè)置較大時(shí)，調(diào)度器完成一輪調(diào)度的時(shí)間可能比較長(zhǎng)，這樣可能會(huì)引發(fā)較大的傳輸時(shí)延抖動(dòng)，此外 DWRR 調(diào)度無法滿足高優(yōu)隊(duì)列優(yōu)先調(diào)度的需求。

6. SP+DWRR 調(diào)度

SP 調(diào)度可能出現(xiàn) “餓死” 問題，同時(shí)不能實(shí)現(xiàn)帶寬按比例調(diào)度；而 DWRR 調(diào)度可以實(shí)現(xiàn)帶寬的按比例調(diào)度，同時(shí)解決了 “餓死” 問題，但是無法滿足高優(yōu)業(yè)務(wù)優(yōu)先調(diào)度的需求。因此結(jié)合 SP 調(diào)度和 DWRR 調(diào)度的優(yōu)點(diǎn)，實(shí)現(xiàn) SP+DWRR 的調(diào)度。調(diào)度時(shí)優(yōu)先保證 SP 調(diào)度，在高優(yōu)隊(duì)列無請(qǐng)求調(diào)度時(shí)，才嘗試調(diào)度低優(yōu)隊(duì)列請(qǐng)求。如下圖所示，SP 調(diào)度高優(yōu)隊(duì)列、低優(yōu)隊(duì)列和普通隊(duì)列，隊(duì)列優(yōu)先級(jí)為：高優(yōu)隊(duì)列 > 普通隊(duì)列 > 低優(yōu)隊(duì)列。



隊(duì)列 1/2/3 按照配置權(quán)重值進(jìn)行 DWRR 調(diào)度，高優(yōu)隊(duì)列、低優(yōu)隊(duì)列和普通隊(duì)列間按照 SP 算法進(jìn)行調(diào)度。高優(yōu)隊(duì)列無請(qǐng)求調(diào)度時(shí)，嘗試調(diào)用普通隊(duì)列組內(nèi)的請(qǐng)求，在普通隊(duì)列組內(nèi)所有隊(duì)列均無請(qǐng)求時(shí)，才調(diào)度低優(yōu)隊(duì)列請(qǐng)求。

二、 GaussDB 網(wǎng)絡(luò)調(diào)度

1. 網(wǎng)絡(luò)調(diào)度實(shí)現(xiàn)

GaussDB 目前采用的 FIFO 調(diào)度機(jī)制，該調(diào)度機(jī)制無法滿足用戶的網(wǎng)絡(luò)隔離需求和 QoS 需求，同時(shí) FIFO 調(diào)度可能帶來比較嚴(yán)重的抖動(dòng)。抖動(dòng)來自兩方面：一方面是不同業(yè)務(wù)爭(zhēng)取同一隊(duì)列引發(fā)的入列時(shí)延損耗，另一方面是隊(duì)列內(nèi)請(qǐng)求數(shù)量變化帶來的調(diào)度時(shí)延變化。因此為了滿足用戶個(gè)性化的網(wǎng)絡(luò)隔離需求和 QoS 需求，設(shè)計(jì)實(shí)現(xiàn) GaussDB 網(wǎng)絡(luò)調(diào)度。 GaussDB 的網(wǎng)絡(luò)調(diào)度有三層需求：

不同資源池間的網(wǎng)絡(luò)隔離和帶寬配比需求；

高優(yōu)業(yè)務(wù)的優(yōu)先調(diào)度需求；

網(wǎng)絡(luò)欠佳 SQL 的降級(jí)需求。

考慮到以上需求，我們采用 SP+DWRR 調(diào)度算法設(shè)計(jì)實(shí)現(xiàn) GaussDB 的網(wǎng)絡(luò)調(diào)度，同時(shí)考慮到隊(duì)列數(shù)量變化及 MTU 設(shè)置帶來的時(shí)延影響，對(duì) DWRR 調(diào)度進(jìn)行改進(jìn)，每次獲取最優(yōu)隊(duì)列進(jìn)行調(diào)度（性能損耗較大，但是可以優(yōu)化改進(jìn)）。 設(shè)計(jì)實(shí)現(xiàn)三種優(yōu)先級(jí)隊(duì)列：高優(yōu)隊(duì)列、普通隊(duì)列和低優(yōu)隊(duì)列。三種隊(duì)列優(yōu)先級(jí)順序?yàn)椋焊邇?yōu)隊(duì)列 > 普通隊(duì)列 > 低優(yōu)隊(duì)列。三類隊(duì)列調(diào)度的業(yè)務(wù)類型如下：

高優(yōu)隊(duì)列用于調(diào)度超戶和不需管控查詢的網(wǎng)絡(luò)請(qǐng)求；

普通隊(duì)列用于調(diào)度正常需要管控的查詢的網(wǎng)絡(luò)請(qǐng)求，普通隊(duì)列間按照 DWRR 算法進(jìn)行請(qǐng)求調(diào)度；

低優(yōu)隊(duì)列用于調(diào)度降級(jí)查詢的網(wǎng)絡(luò)請(qǐng)求。

GaussDB 基于 DWRR 實(shí)現(xiàn)的網(wǎng)絡(luò)隔離屬于配額共享的資源隔離，區(qū)別于限流的網(wǎng)絡(luò)隔離，該隔離方案在保障資源池間網(wǎng)絡(luò)隔離和帶寬占比的前提下，可以最大化地利用網(wǎng)絡(luò)帶寬，有效降低網(wǎng)絡(luò)隔離對(duì)網(wǎng)絡(luò)吞吐量的影響。GaussDB 配額共享的網(wǎng)絡(luò)隔離有兩層含義：

共享：所有資源池間網(wǎng)絡(luò)資源共享，網(wǎng)絡(luò)空閑時(shí)，按需調(diào)度；

配額：網(wǎng)絡(luò)調(diào)度繁忙情況下，按照配置權(quán)重比例進(jìn)行調(diào)度。

基于 SP 調(diào)度機(jī)制實(shí)現(xiàn)的網(wǎng)絡(luò)降級(jí)有以下優(yōu)點(diǎn)：

超戶業(yè)務(wù)或正常業(yè)務(wù)有網(wǎng)絡(luò)請(qǐng)求時(shí)，優(yōu)先調(diào)度超戶和正常業(yè)務(wù)的網(wǎng)絡(luò)請(qǐng)求，保障超戶和正常業(yè)務(wù)的 QoS；

網(wǎng)絡(luò)空閑，超戶和正常業(yè)務(wù)調(diào)度無請(qǐng)求調(diào)度時(shí)，降級(jí)查詢可以按需占用空閑時(shí)間進(jìn)行網(wǎng)絡(luò)調(diào)度。

SP 調(diào)度可能出現(xiàn) “餓死” 情況，因此一般情況下，用戶在設(shè)計(jì)網(wǎng)絡(luò)隔離方案時(shí)，不建議有資源池不設(shè)置網(wǎng)絡(luò)管控參數(shù)（帶寬權(quán)重）。此外網(wǎng)絡(luò)欠佳 SQL 降級(jí)后如果出現(xiàn) “餓死” 情況，一般說明網(wǎng)絡(luò)帶寬資源緊張，需要進(jìn)行錯(cuò)峰調(diào)度或配置并發(fā)管控。

2. 網(wǎng)絡(luò)隔離應(yīng)用

考慮一個(gè)比較簡(jiǎn)單的客戶場(chǎng)景：用戶自定義兩個(gè)資源池 rp1 和 rp2，兩個(gè)資源池帶寬權(quán)重分別配置為 4 和 2，同時(shí)配置默認(rèn)資源池帶寬權(quán)重值為 1。

ALTER RESOURCE POOL rp1 WITH(WEIGHT=4);

ALTER RESOURCE POOL rp2 WITH(WEIGHT=2);

ALTER RESOURCE POOL default_pool WITH(WEIGHT=1);

配置完成后，在三個(gè)隊(duì)列都有請(qǐng)求的情況下，rp1、rp2 和 default_pool 會(huì)按照 41 的比例進(jìn)行網(wǎng)絡(luò)請(qǐng)求調(diào)度。網(wǎng)絡(luò)擁塞，三個(gè)隊(duì)列都有調(diào)度不完的請(qǐng)求情況下，rp1 占用 4/7 的帶寬，rp2 占用 2/7 的帶寬，default_pool 占用 1/7 的帶寬。在有隊(duì)列無請(qǐng)求情況下，其他有請(qǐng)求的隊(duì)列按照權(quán)重配比搶占網(wǎng)絡(luò)帶寬。

設(shè)置查詢運(yùn)行超過 20min，且網(wǎng)絡(luò)帶寬占用超過 512MB 時(shí)降級(jí)：

CREATE EXCEPT RULE bandwidth_rule1 WITH(bandwidth=512, ELAPSEDTIME=1200, action='penalty');

設(shè)置查詢運(yùn)行超過 30min，且網(wǎng)絡(luò)帶寬占用超過 1GB 時(shí)降級(jí)：

CREATE EXCEPT RULE bandwidth_rule2 WITH(bandwidth=1024, ELAPSEDTIME=1800, action='abort');

資源池關(guān)聯(lián)異常規(guī)則：

ALTER RESOURCE POOL rp1 WITH(EXCEPT_RULE='bandwidth_rule1, bandwidth_rule2');

關(guān)聯(lián)資源池 rp1 的用戶執(zhí)行的查詢，如果運(yùn)行時(shí)間超過 20min，且占用帶寬超過 512MB 時(shí)查詢即被降級(jí)，降級(jí)后該查詢網(wǎng)絡(luò)請(qǐng)求由低優(yōu)隊(duì)列調(diào)度，為了防止報(bào)文錯(cuò)亂，降級(jí)不可恢復(fù)；如果運(yùn)行時(shí)間超過 30min，且占用帶寬超過 1GB 時(shí)查詢即被查殺。

資源池監(jiān)控視圖集成了網(wǎng)絡(luò)收發(fā)速率監(jiān)控，可以通過查詢資源池監(jiān)控對(duì)各資源池網(wǎng)絡(luò)收發(fā)流量進(jìn)行監(jiān)控：

查詢當(dāng)前 CN/DN 上網(wǎng)絡(luò)收發(fā)速率：

SELECT rpname,send_speed,recv_speed FROM gs_respool_resource_info;

查詢所有 CN/DN 上網(wǎng)絡(luò)收發(fā)速率：

SELECT nodename,rpname,send_speed,recv_speed FROM pgxc_respool_resource_info order by 1,2;

通過資源池網(wǎng)絡(luò)監(jiān)控視圖可以直觀地觀察到資源池網(wǎng)絡(luò)隔離效果，同時(shí)對(duì)資源池帶寬權(quán)重配置優(yōu)化配置進(jìn)行指導(dǎo)。

審核編輯：劉清