天翼云彈性負載均衡介紹

作者簡介

肖力，天翼云科技有限公司彈性網(wǎng)絡(luò)產(chǎn)品線架構(gòu)師。從事網(wǎng)絡(luò)方面的工作，對MPLS、3GGP協(xié)議和IAAS網(wǎng)絡(luò)架構(gòu)有深入的研究，對IAAS網(wǎng)絡(luò)產(chǎn)品都有深入的理解，支撐了100+公有云/混合云項目網(wǎng)絡(luò)方案的設(shè)計和落地。

負載均衡介紹

負載均衡（Load Balancing）是一種優(yōu)化資源分配的技術(shù)，主要用于在網(wǎng)絡(luò)環(huán)境中分散工作負載，以提高系統(tǒng)的響應(yīng)速度、吞吐量以及可靠性。在互聯(lián)網(wǎng)服務(wù)中，當單臺服務(wù)器無法處理大量并發(fā)請求時，就需要采用負載均衡策略，將請求分發(fā)至多臺服務(wù)器上進行處理。負載均衡在現(xiàn)代IT架構(gòu)中扮演著至關(guān)重要的角色，尤其是在大型分布式系統(tǒng)和云計算環(huán)境中。

天翼云彈性負載均衡介紹

天翼云彈性負載均衡（CT-ELB ，Elastic Load Balancing）是一種分發(fā)控制網(wǎng)絡(luò)流量的服務(wù)，通過預(yù)先設(shè)定的算法將訪問流量自動分發(fā)到多臺云主機，擴展應(yīng)用系統(tǒng)對外的服務(wù)能力，實現(xiàn)更高水平的應(yīng)用系統(tǒng)容錯性能。

如上圖所示，大量用戶可同時通過互聯(lián)網(wǎng)訪問客戶業(yè)務(wù)，彈性負載均衡將這些用戶請求按照配置的負載算法分發(fā)到不同的業(yè)務(wù)云主機，為大量用戶同時提供服務(wù)。

彈性負載均衡的產(chǎn)品架構(gòu)主要包含以下組件：

負載均衡器：即負載均衡實例，可以接收來自客戶端的請求流量，并經(jīng)流量分配到一個或多個可用的后端服務(wù)器。

監(jiān)聽器：監(jiān)聽器是彈性負載均衡的核心組件，監(jiān)聽器指定要監(jiān)聽的協(xié)議和端口號，并根據(jù)配置的負載均衡算法將請求轉(zhuǎn)發(fā)到后端主機。監(jiān)聽器也會對后端服務(wù)器進行健康檢查。

后端服務(wù)器組：每個監(jiān)聽器關(guān)聯(lián)一個后端服務(wù)器組，后端服務(wù)器組包含多個后端服務(wù)器。當監(jiān)聽器接收到客戶端請求時，它將請求轉(zhuǎn)發(fā)給后端服務(wù)器組中的一個或多個后端服務(wù)器。后端服務(wù)器組負責(zé)將請求傳遞給相應(yīng)的后端服務(wù)器，實現(xiàn)負載均衡和高可用性。

后端服務(wù)器：處理前端請求的云服務(wù)器實例。例如云主機、裸金屬等。

健康檢查：健康檢查用于檢查后端服務(wù)器的狀態(tài)。用戶可自定義健康檢查方式和頻率，負載均衡根據(jù)預(yù)設(shè)的健康檢查規(guī)則定時檢查后端服務(wù)器是否正常運行，一旦檢測到服務(wù)器為非健康狀態(tài)，則不會將訪問流量分派到這些非健康服務(wù)器實例。

主要組件的關(guān)系如下：

下面介紹下彈性負載均衡的4個常見的應(yīng)用場景和3個實用的高階能力。

彈性負載均衡應(yīng)用場景

分發(fā)流量應(yīng)對高訪問流量

針對高訪問量的業(yè)務(wù)，單機難以支撐?？梢允褂秘撦d均衡來實現(xiàn)流量分發(fā)，通過設(shè)置適當?shù)霓D(zhuǎn)發(fā)策略，將訪問量均衡地分配到多個后端云主機，從而有效提高業(yè)務(wù)處理的效率和性能，支撐大流量、大并發(fā)業(yè)務(wù)。

適用于各種高訪問量的業(yè)務(wù)場景，如大型門戶網(wǎng)站、移動應(yīng)用市場、電商平臺等，從而幫助企業(yè)應(yīng)對高訪問量的業(yè)務(wù)挑戰(zhàn)，提高業(yè)務(wù)的可用性和性能，降低運維成本和風(fēng)險。

分發(fā)流量是彈性負載均衡的基礎(chǔ)場景，還可以結(jié)合健康檢查保障業(yè)務(wù)高可用。下面介紹下健康檢查保障業(yè)務(wù)高可用場景。

健康檢查保障業(yè)務(wù)高可用

為了提高業(yè)務(wù)的可靠性，可以使用負載均衡來消除單點故障。在負載均衡器上添加多個后端云主機，并將它們部署在不同的可用區(qū)內(nèi)，從而實現(xiàn)負載均衡的高可用性和容錯能力。當某個云主機發(fā)生故障時，負載均衡器會通過健康檢查及時發(fā)現(xiàn)并屏蔽有故障的云主機，并將流量轉(zhuǎn)發(fā)到其他正常運行的后端云主機，保證業(yè)務(wù)的連續(xù)性和穩(wěn)定性。

適用于官網(wǎng)，計費業(yè)務(wù)，Web業(yè)務(wù)等使用場景。通過將請求分發(fā)到多臺云主機上，即使某個云主機出現(xiàn)故障，也不會對整個系統(tǒng)造成影響，從而保證了系統(tǒng)的高可靠性。同時，彈性負載均衡還支持自動檢測和剔除故障云主機，可以有效地提高系統(tǒng)的容錯能力。

彈性負載均衡通過健康檢查保證了業(yè)務(wù)的高可用。還可以通過跨可用區(qū)部署提升業(yè)務(wù)容災(zāi)能力。

跨可用區(qū)部署提升業(yè)務(wù)容災(zāi)能力

彈性負載均衡可通過跨可用區(qū)的部署來實現(xiàn)業(yè)務(wù)容災(zāi)?？捎脜^(qū)是天翼云在不同地理位置提供的獨立數(shù)據(jù)中心，具有獨立的供電、網(wǎng)絡(luò)和硬件設(shè)施，因此在某個可用區(qū)發(fā)生故障時，其他可用區(qū)仍然能夠正常運行。通過在不同可用區(qū)中部署彈性負載均衡器和后端資源，系統(tǒng)可以在某個可用區(qū)故障時繼續(xù)提供穩(wěn)定可靠的服務(wù)，并自動將流量切換到其他可用區(qū)。從而提高容錯性、故障恢復(fù)能力和用戶體驗。

適用于包括Web應(yīng)用程序、銀行業(yè)務(wù)、數(shù)據(jù)庫集群和大型應(yīng)用系統(tǒng)等。通過將實例部署在多個可用區(qū)，并使用負載均衡將流量分發(fā)到這些實例，可以實現(xiàn)高可用性和負載均衡。如果一個可用區(qū)出現(xiàn)故障，流量將自動路由到其他可用區(qū)的實例，確保應(yīng)用的可用性。

結(jié)合彈性伸縮應(yīng)對潮汐業(yè)務(wù)

針對在某些特定時間段內(nèi)，業(yè)務(wù)流量出現(xiàn)大幅度波動，可以使用負載均衡集成彈性伸縮服務(wù)來實現(xiàn)自動化的資源調(diào)整。彈性伸縮服務(wù)可以根據(jù)業(yè)務(wù)流量的變化自動調(diào)整后端云主機數(shù)量，從而保證業(yè)務(wù)處理能力的充足和穩(wěn)定，提高業(yè)務(wù)的可用性和性能。同時，結(jié)合負載均衡技術(shù)，可以將流量合理地分配到多個云主機上進行處理，進一步提高業(yè)務(wù)的處理效率和吞吐量。

適用于業(yè)務(wù)流量通常呈現(xiàn)出大幅波動的場景中，例如電商的“雙11”、“雙12”、“618”等大型促銷活動。使用負載均衡及彈性伸縮能根據(jù)業(yè)務(wù)的實際情況及時調(diào)整資源數(shù)量，以滿足業(yè)務(wù)的處理需求，最大限度的節(jié)省IT成本。

以上是彈性負載均衡的4種常見應(yīng)用場景，在這4種場景中，彈性負載均衡構(gòu)建了高并發(fā)業(yè)務(wù)穩(wěn)定運行的基石。彈性負載均衡還提供了一些高階能力，下面再介紹3種實用的高階能力。

彈性負載均衡高階能力

平滑升級后端業(yè)務(wù)

針對由于客戶業(yè)務(wù)需求，需要升級后端業(yè)務(wù)，可以使用修改權(quán)重為0和批量修改后端權(quán)重能力來對后端業(yè)務(wù)進行分批次滾動升級，可保證后端業(yè)務(wù)升級過程中業(yè)務(wù)不中斷，從而實現(xiàn)平滑升級后端業(yè)務(wù)。

對后端業(yè)務(wù)做調(diào)整/升級時，可先將部分后端服務(wù)器的權(quán)重批量調(diào)整為0，此時彈性負載均衡會將權(quán)重為0的后端服務(wù)器流量切換到其它后端；然后對后端服務(wù)做調(diào)整/升級。后端服務(wù)調(diào)整/升級完成后，再逐步將后端權(quán)重調(diào)整為原值，此時彈性負載均衡會根據(jù)后端權(quán)重，把流量分發(fā)到權(quán)重不為0的后端上。重復(fù)這個過程，進行后端業(yè)務(wù)的滾動式調(diào)整/升級，即可實現(xiàn)后端業(yè)務(wù)平滑調(diào)整/升級。

TLS復(fù)用降低帶寬消耗

HTTPS（Hyper Text Transfer Protocol over SecureSocket Layer，超文本傳輸安全協(xié)議）在 TCP 和 HTTP 之間加入了 SSL/TLS 安全協(xié)議，使得報文能夠加密傳輸，提升了HTTP連接的安全性。HTTPS在 TCP 三次握手之后，還需進行 SSL/TLS 的握手過程，才可進行加密報文傳輸。在TLS建立連接的過程中，客戶端和服務(wù)端需要交換TLS版本、加密套件列表、隨機數(shù)、證書等信息，導(dǎo)致TLS建立連接的消耗很大。

所以如果連續(xù)兩次短連接通信的話，完全可以復(fù)用上一次的會話。這樣可以壓縮通信消息，節(jié)省計算，減小連接建立耗費的時延。TLS提供了session ticket（會話票證）機制來實現(xiàn)TLS連接復(fù)用。

Session ticket可以重用之前創(chuàng)建的會話，這個會話是之前和服務(wù)器進行握手成功的，這樣可以降低TLS握手的消耗。在session ticket機制中，服務(wù)端不用為每個會話保存狀態(tài)，它用一個blob數(shù)據(jù)保存狀態(tài)，然后將它發(fā)給客戶端用來維護后來連接，session ticket允許服務(wù)器將其存儲狀態(tài)委托給客戶端，類似HTTP cookie一樣。在初始握手中服務(wù)端發(fā)送一個會話ticket到客戶端，存儲到客戶端本地，當重用會話時，客戶端發(fā)送session ticket到服務(wù)端，服務(wù)端解密然后重用會話。

天翼云彈性負載均衡支持session ticket機制，通過TLS連接復(fù)用縮短連接建立時間提升連接建立成功率，進而提升廣告商業(yè)務(wù)收入。同時降低公網(wǎng)帶寬消耗，降低客戶運營成本。

IPv6能力

IPv6的發(fā)展已經(jīng)取得了顯著進展。截至2024年5月底，我國IPv6活躍用戶數(shù)達到7.94億，移動網(wǎng)絡(luò)IPv6流量占比達64.56%。?此外，我國在IPv6規(guī)模部署和應(yīng)用方面也取得了重要進展，IPv6網(wǎng)絡(luò)“高速公路”已經(jīng)全面建成，信息基礎(chǔ)設(shè)施IPv6服務(wù)能力已基本具備。作為?IPv4的替代者，IPv6具有豐富的地址資源和高效的處理模式，能夠支持更多的設(shè)備連接和網(wǎng)絡(luò)應(yīng)用。

天翼云彈性負載均衡支持IPv4、IPv6雙棧協(xié)議，滿足業(yè)務(wù)對IPv6的需求。將業(yè)務(wù)子網(wǎng)開啟IPv6后，在負載均衡創(chuàng)建時會自動分配IPv6地址，支持IPv6業(yè)務(wù)。

上面介紹了天翼云彈性負載均衡的4種應(yīng)用場景和3種高階能力，下面結(jié)合一個廣告商的業(yè)務(wù)介紹下彈性負載均衡的具體使用案例。

程序化廣告系統(tǒng)用云實踐

廣告平臺商是一家科技創(chuàng)新型服務(wù)商。公司致力于移動端數(shù)字營銷領(lǐng)域，專注于廣告位管理、多渠道變現(xiàn)與收益優(yōu)化，通過自研智能廣告算法，幫助移動端中小媒體實現(xiàn)整體收益最大化的新媒體技術(shù)和解決方案服務(wù)商。

廣告平臺商的運營管理系統(tǒng)和程序化廣告應(yīng)用系統(tǒng)都部署在天翼云上。終端用戶使用移動端APP時，移動端APP會調(diào)用廣告平臺上的業(yè)務(wù)API，獲取廣告信息，推送給終端用戶。廣告平臺商的業(yè)務(wù)系統(tǒng)會將APP請求的廣告數(shù)據(jù)、日志分別存入分布式緩存數(shù)據(jù)庫REDIS和分析型數(shù)據(jù)庫。運營管理系統(tǒng)對REDIS、數(shù)據(jù)庫中的數(shù)據(jù)進行處理分析，輸出廣告投放有效轉(zhuǎn)化率、廣告變現(xiàn)率分析，為后續(xù)業(yè)務(wù)拓展提供數(shù)據(jù)依據(jù)。

廣告平臺商的業(yè)務(wù)架構(gòu)如下：

廣告平臺商的業(yè)務(wù)特點是：連接低時延，連接超時即影響客戶收入；瞬時高并發(fā)，業(yè)務(wù)峰值一般在晚上22點、凌晨0點，業(yè)務(wù)峰值是平時的2~3倍；對穩(wěn)定性的要求很高，公網(wǎng)抖動導(dǎo)致連接中斷或超時會影響客戶收入。

針對廣告平臺商的業(yè)務(wù)架構(gòu)和業(yè)務(wù)特點，推薦客戶使用天翼云彈性負載均衡構(gòu)建廣告業(yè)務(wù)穩(wěn)定運行的基石，配合彈性伸縮支撐客戶潮汐業(yè)務(wù)訪問，通過了618業(yè)務(wù)高峰考驗，并對廣告投放的有效轉(zhuǎn)化率進行智能分析，為后續(xù)業(yè)務(wù)的發(fā)展和增長提供了有力的決策依據(jù)。同時通過TLS復(fù)用降低了客戶公網(wǎng)帶寬消耗，通過平滑業(yè)務(wù)升級方案，降低了廣告平臺上的運營成本。通過負載均衡的IPv6能力，擴大了廣告業(yè)務(wù)的受眾，拓展了廣告業(yè)務(wù)，帶來了業(yè)務(wù)的進一步增加。