云原生邊緣計算平臺 KubeEdge 架構(gòu)設(shè)計

CNCF 的 KubeEdge 項目作為業(yè)界首個云原生邊緣計算平臺，從資源、應(yīng)用、數(shù)據(jù)、AI、服務(wù)等多個維度，實現(xiàn)了邊云、邊邊之間的管理與協(xié)作，覆蓋了智慧園區(qū)、車路協(xié)同、工業(yè) IoT、邊緣媒體加速等多個場景。

1、云原生邊緣計算平臺 KubeEdge 架構(gòu)實踐

邊緣計算和云計算是共生互補的。隨著物聯(lián)網(wǎng)、5G、AI、AR/VR 等技術(shù)的發(fā)展與應(yīng)用，完全依賴云計算來進行數(shù)據(jù)傳輸和處理將會造成巨大的網(wǎng)絡(luò)延遲。邊緣計算可在邊緣節(jié)點處理數(shù)據(jù)，能夠有效減少數(shù)據(jù)的傳輸和處理，但通過云計算的遠程存儲和分析仍然至關(guān)重要。

作為云計算平臺的延伸，邊緣計算平臺不應(yīng)該是一個孤立的系統(tǒng)，它應(yīng)該和云計算平臺保持關(guān)聯(lián)，實現(xiàn)：邊云平臺統(tǒng)一的設(shè)備和應(yīng)用管理視圖，事件、消息、數(shù)據(jù)的跨邊云高效同步，微服務(wù)在全局的自動發(fā)現(xiàn)和流量治理等。

同時，邊緣計算平臺要與中心的云計算平臺保持解耦，提供本地自治的能力，以應(yīng)對弱網(wǎng)甚至是斷網(wǎng)的場景。另外，計算設(shè)備類型的異構(gòu)、離散分布以及資源受限等也對邊緣計算平臺的架構(gòu)設(shè)計提出了巨大挑戰(zhàn)。

KubeEdge 源于華為云 2017 年的啟動的創(chuàng)新項目。項目初期我們嘗試開發(fā)一個能將邊緣和云端協(xié)同起來的云原生應(yīng)用管理框架。2018 年我們把這套框架開源出來，并逐步形成了 KubeEdge 社區(qū)。經(jīng)過 4 年的實踐，我們認為邊緣計算平臺架構(gòu)的設(shè)計，需要滿足六大核心原則：開放生態(tài)、極致輕量、可靠連接、離線自治、云邊協(xié)同和邊緣智能。

開放生態(tài)：北向統(tǒng)一應(yīng)用開發(fā)接口，南向支持異構(gòu)邊緣形態(tài)??

“北向統(tǒng)一應(yīng)用開發(fā)接口，南向支持異構(gòu)邊緣形態(tài)”是 KubeEdge 的核心原則，圍繞這個原則，我們在“IoT 設(shè)備 – 邊緣計算節(jié)點 – 邊緣應(yīng)用”3 個層面，實現(xiàn)了邊緣計算全流程生態(tài)開放。

統(tǒng)一應(yīng)用生態(tài)：基于 Kubernetes 的原生能力，提供跨云邊統(tǒng)一的應(yīng)用治理和運維體驗，幫助云端應(yīng)用快速便捷地遷移到邊緣。

統(tǒng)一節(jié)點管控：KubeEdge 對邊緣計算節(jié)點進行了統(tǒng)一的抽象和建模，通過擴充 Kubernetes 原生的 Node 模型，實現(xiàn)邊緣節(jié)點和云端節(jié)點的混合管理。

統(tǒng)一 IoT 設(shè)備接入：在 IoT 設(shè)備層抽象出了統(tǒng)一的 IoT 設(shè)備接入框架，包括云原生 IoT 設(shè)備模型和 API 邊緣協(xié)議驅(qū)動框架，方便用戶和廠商基于自由的 IoT 設(shè)備進行系統(tǒng)集成。

極致輕量：輕量、靈活的邊緣軟件，全面覆蓋不同邊緣場景? ??

與云計算集中式資源管理不同，邊緣計算中資源往往呈現(xiàn)出全局地域離散、局部小規(guī)模集中的特征。同時，每個邊緣節(jié)點的資源十分有限，例如一些物聯(lián)網(wǎng)網(wǎng)關(guān)，內(nèi)存往往只有 512M 甚至 256M。因此，邊緣管控軟件需要滿足輕量和靈活擴展的雙重要求，滿足不同的硬件和場景。

為了滿足管控軟件輕量化要求，我們對原生的 Kubelet 進行了深度裁剪和重構(gòu)，將 Kubelet 的核心功能剝離出來，形成了輕量和邊緣管理軟件 EdgeCore。同時，我們自研了蜂巢（Bee Hive）開發(fā)框架，實現(xiàn)擴展插件的動態(tài)插拔、自動發(fā)現(xiàn)和高效通信，以滿足定制化能力的擴展。

可靠連接：邊云消息統(tǒng)一管理滿足弱網(wǎng)場景數(shù)據(jù)可靠傳輸? ?

與數(shù)據(jù)中心網(wǎng)絡(luò)的統(tǒng)一性和高可用性不同，邊緣節(jié)點和中心云在網(wǎng)絡(luò)上往往是隔離的，邊緣節(jié)點通過網(wǎng)關(guān)、代理或?qū)＞€實現(xiàn)與中心云的互通，這些網(wǎng)絡(luò)往往存在帶寬低、丟包嚴重以及不穩(wěn)定等問題。這導(dǎo)致面向穩(wěn)定網(wǎng)絡(luò)設(shè)計的 Kubernetes 在邊緣網(wǎng)絡(luò)中很難穩(wěn)定運行。如何屏蔽邊緣網(wǎng)絡(luò)差異，是邊緣云原生平臺需要解決的一個重要問題。

KubeEdge 通過 CloudHub 和 EdgeHub 來實現(xiàn)對邊緣網(wǎng)絡(luò)的屏蔽，其核心功能包括如下三個方面：

通過雙向多路復(fù)用消息通道，支持邊緣節(jié)點跨私有網(wǎng)絡(luò)和云端進行通信；

基于 WebSocket 和消息封裝，統(tǒng)一管理所有連接，大幅減少通信壓力，在高時延高抖動下仍可正常工作；

通過云邊消息校驗系統(tǒng)，在網(wǎng)絡(luò)不穩(wěn)定時防止數(shù)據(jù)丟失。

離線自治：邊緣輕量化分布式?jīng)Q策器，離線場景故障自愈??

邊緣網(wǎng)絡(luò)的不穩(wěn)定性導(dǎo)致邊緣節(jié)點經(jīng)常出現(xiàn)和管理系統(tǒng)的斷連，該場景下如何保證邊緣應(yīng)用持續(xù)穩(wěn)定的運行，也是邊緣云原生平臺需要解決的重要問題。

KubeEdge 通過在邊緣上引入一個輕量的元數(shù)據(jù)管理模塊（MetaManager）對邊緣應(yīng)用的元數(shù)據(jù)進行存儲。當邊緣節(jié)點離線時，EdgeD 可以基于 MetaManager 存儲的元數(shù)據(jù)對應(yīng)用進行管理和恢復(fù)。每個節(jié)點上的 MetaManager 只存儲了部署在本地的應(yīng)用的元數(shù)據(jù)信息，這樣即保證了較小的資源開銷，同時也保證了集群中其他節(jié)點數(shù)據(jù)的安全性。

云邊協(xié)同：網(wǎng)絡(luò)割裂環(huán)境下實現(xiàn)服務(wù)發(fā)現(xiàn)與流量代理??

邊緣節(jié)點資源有限，很難完成復(fù)雜的業(yè)務(wù)流程，因此在實際業(yè)務(wù)場景中，邊緣應(yīng)用往往需要和云端應(yīng)用互相配合，實現(xiàn)端到端的解決方案。

KubeEdge 提供了多種應(yīng)用間跨邊云數(shù)據(jù)交換的模式，包括提供消息通信能力的 EventBus 和 ServiceBus ，提供微服務(wù)間互相發(fā)現(xiàn)和流量轉(zhuǎn)發(fā)的 EdgeMesh。

EdgeMesh 是一個輕量化服務(wù)發(fā)現(xiàn)與流量代理組件，其目標是在邊緣場景下屏蔽網(wǎng)絡(luò)結(jié)構(gòu)和鏈接方式的差異，提供統(tǒng)一的流量治理能力。其核心特性包括：

極致輕量：從 Pod 級的主機級的 Agent，資源占用較 Isito 標準數(shù)據(jù)面 Envoy 降低 90%+；

高可用性：基于 P2P 實現(xiàn)了不同節(jié)點跨網(wǎng)絡(luò)穿透，通過中繼轉(zhuǎn)發(fā)和直連通道協(xié)同工作，保證系統(tǒng)高效運行；

高可靠性：基于元數(shù)據(jù)本地存儲，保證了離線時可持續(xù)工作。

邊緣智能：分布式協(xié)同 AI 框架，打破模型訓(xùn)練推理空間限制??

在數(shù)據(jù)生成的地方進行快速處理并實時響應(yīng)是邊緣計算發(fā)展的原始動力之一，因此，如何將數(shù)據(jù)智能處理應(yīng)用高效地運行在邊緣，是邊緣計算研究的一個重要問題。具體有如下 4 點核心挑戰(zhàn):

邊緣場智能使用的設(shè)備往往資源有限，大型的 AI 模型難以運行

資源硬件各異，不同場景碎片化嚴重

邊緣數(shù)據(jù)地理分散，受限于隱私等問題，不同節(jié)點間的數(shù)據(jù)難以共享，導(dǎo)致數(shù)據(jù)孤島問題凸顯

由于邊緣場景差異化較大，邊緣數(shù)據(jù)在時間和空間統(tǒng)計分布不一致，導(dǎo)致同一個模型難以適用全量的場景

針對這些問題，我們在 KubeEdge 社區(qū)開源了邊緣協(xié)同 AI 框架項目 Sedna。

Sedna 基于 KubeEdge 提供的邊云協(xié)同能力，實現(xiàn)了 AI 應(yīng)用的跨邊云協(xié)同，支持現(xiàn)有 AI 類應(yīng)用無縫下沉到邊緣，快速實現(xiàn)跨邊云的增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、協(xié)同推理、終身學(xué)習(xí)等能力，最終達到降低邊緣 AI 服務(wù)構(gòu)建與部署成本、提升模型性能、保護數(shù)據(jù)隱私等效果。

2、IEF：基于 KubeEdge 的云原生邊緣計算商用平臺

華為云的智能邊緣平臺（Intelligent EdgeFabric）是基于 KubeEdge 的商業(yè)化產(chǎn)品，其目標是基于云原生技術(shù)構(gòu)建一個全新的邊云協(xié)同操作系統(tǒng)，可運行在多種邊緣設(shè)備上，將豐富的 AI、IoT 及數(shù)據(jù)分析等智能應(yīng)用以輕量化的方式從云端部署到邊緣，滿足用戶對智能應(yīng)用邊云協(xié)同的業(yè)務(wù)訴求。

IEF 服務(wù)著力構(gòu)筑兩個生態(tài)。在邊緣，構(gòu)筑硬件生態(tài)，讓各種規(guī)格、各種形態(tài)的邊緣硬件可以快速和平臺集成，形成邊緣基礎(chǔ)設(shè)施底座。在云端，構(gòu)建應(yīng)用生態(tài)，和華為云自有的大數(shù)據(jù)處理、AI 處理服務(wù)集成，結(jié)合第三方應(yīng)用，幫助更多企業(yè)客戶快速實現(xiàn)邊緣服務(wù)解決方案。

3、云原生邊緣計算商業(yè)實踐及落地案例

交通運輸行業(yè)作為“新基建”集中落地的載體，5G、人工智能、軌道交通等產(chǎn)業(yè)的技術(shù)與生態(tài)將在此“聚變”，進而“裂變”出海量的創(chuàng)新及應(yīng)用。作為交通行業(yè)數(shù)字化轉(zhuǎn)型的典型場景，使用電子收費代替人工收費站，面臨著收費模式和收費技術(shù)的重構(gòu)。

長遠來看，減少人工收費站，并建設(shè)大量的 ETC 門架系統(tǒng)，是未來交通管理行業(yè)走向信息化的必要一環(huán)。中國作為高速公路總里程第一的國家，傳統(tǒng)的收費模式是由全國 33 個省市自治區(qū)獨立管理轄區(qū)內(nèi)的高速公路，進行人工收費。全國的計費統(tǒng)計復(fù)雜，費率難以統(tǒng)一管理，人工收費效率低下，高峰期容易造成交通擁堵，影響通行效率。

基于以上挑戰(zhàn)，中國交通部自 2019 年開始在全國范圍內(nèi)推行電子收費系統(tǒng)，取消省界之間的人工收費站。該系統(tǒng)基于 Kubernetes 和 KubeEdge 技術(shù)構(gòu)建，利用云原生邊緣計算平臺帶來的備異構(gòu)計算、大規(guī)模設(shè)備接入、統(tǒng)一管理等優(yōu)勢，實現(xiàn)了接近 10 萬個邊緣節(jié)點和 50 萬邊緣應(yīng)用的統(tǒng)一管理：

異構(gòu)計算：當前智能邊緣平臺支持 x86、ARM32、ARM64 架構(gòu)設(shè)備接入，并且支持主流操作系統(tǒng)如 CentOS、Ubuntu 等，取消省界項目中不同省份，地域選擇的邊緣計算硬件都不同，智能邊緣平臺異構(gòu)接入的能力避免了用戶大量的適配工作，使能客戶快速接入并部署業(yè)務(wù)。

大規(guī)模接入：當前取消省界項目中存在近 7 萬邊緣節(jié)點，最高峰時接入了 8 萬邊緣節(jié)點。交通項目的規(guī)模往往隨著業(yè)務(wù)場景豐富而擴大，智能邊緣平臺支持水平集群擴容，能夠支持用戶根據(jù)自身訴求接入更多節(jié)點。

統(tǒng)一管理：取消省界項目客觀規(guī)模龐大，接入節(jié)點與部署的應(yīng)用數(shù)量極多，這對節(jié)點與應(yīng)用的生命周期管理，帶來難度。智能邊緣平臺，將功能可視化，提供全流程的生命周期管理，降低各省、市以及路段的運維人員使用門檻與學(xué)習(xí)成本。

邊緣計算進入“太空”，空間計算進入云原生時代??

衛(wèi)星在太空中承擔了科學(xué)探測和研究、天氣預(yù)報、土地資源調(diào)查、土地利用、區(qū)域規(guī)劃、通信、跟蹤、導(dǎo)航等多個領(lǐng)域的工作。從最早的單一功能，到現(xiàn)在的一星多用，對于衛(wèi)星的智能化要求也越來越高，尤其是在復(fù)雜的太空場景中，提高衛(wèi)星的智能化水平和應(yīng)用服務(wù)能力，讓衛(wèi)星更好、更快地向地面?zhèn)鬟f更有價值的信息，是衛(wèi)星全產(chǎn)業(yè)鏈價值提升的關(guān)鍵所在。

在此背景下，北京郵電大學(xué)與華為云邊緣云創(chuàng)新 Lab 合作，將 KubeEdeg 和 Sedna 與衛(wèi)星系統(tǒng)結(jié)合，實現(xiàn)了地面數(shù)據(jù)中心與衛(wèi)星系統(tǒng)的無縫融合，為空間實驗提供按需使用的計算能力和分布式 AI 計算能力，有效降低空間計算實驗門檻。

云原生邊緣計算和衛(wèi)星系統(tǒng)的結(jié)合，使衛(wèi)星具有更好的服務(wù)化能力，具備更廣闊的使用范圍和商業(yè)前景，具體包括以下幾個方面：

第一點是對衛(wèi)星上的計算資源進行統(tǒng)一的管理和調(diào)度，將傳統(tǒng)的預(yù)占式資源分配方式變?yōu)榘葱枋褂玫闹悄苜Y源調(diào)度，提升計算資源的使用效率；

第二點是提供兼容 Kubernetes 的云原生應(yīng)用生命周期管理，可以按需部署、升級應(yīng)用，并提供全方位、可視化的的應(yīng)用運維能力，降低應(yīng)用開發(fā)運維成本；

第三點是實現(xiàn)了衛(wèi)星應(yīng)用和云端應(yīng)用協(xié)同聯(lián)動，支持云平臺已有 AI 能力快速延伸至衛(wèi)星，并通過數(shù)據(jù)協(xié)同，支持中心云和衛(wèi)星系統(tǒng)的聯(lián)動，提升衛(wèi)星的計算能力；最后一點就是通過 KubeEdge 提供安全的數(shù)據(jù)通道，支持數(shù)據(jù)加密傳輸，保證數(shù)據(jù)的安全。

4、邊緣計算趨勢：構(gòu)建去中心化的分布式云

隨著物聯(lián)網(wǎng)通訊技術(shù)與相關(guān)嵌入式設(shè)備的高速發(fā)展，邊緣計算正在崛起并為云技術(shù)帶來新的趨勢?？梢钥吹?，各大云廠商業(yè)務(wù)從主要依賴超大規(guī)模數(shù)據(jù)中心, 光纜高速互聯(lián)的傳統(tǒng)公有云、發(fā)展到企業(yè)私有云與公有云專線互聯(lián)的混合云，逐步過渡到公有云為中心、邊緣節(jié)點與中心專線或公網(wǎng)互聯(lián)的邊緣云。未來甚至可能出現(xiàn)去中心化，中心數(shù)據(jù)中心與邊緣數(shù)據(jù)中心多路徑互聯(lián)的全分布式云。邊緣計算將為未來的百億終端提供 AI 能力，形成萬物感知、萬物互聯(lián)、 萬物智能的智能世界。

嘉賓介紹

齊飛，華為云主任工程師，2012 年加入華為，長期從事云計算系統(tǒng)和關(guān)鍵技術(shù)研究，參與華為混合云、邊緣云等多個云計算產(chǎn)品的創(chuàng)新孵化工作。2017 年開始負責華為云邊緣計算系統(tǒng)的創(chuàng)新孵化，參與華為智能邊緣平臺服務(wù)、云原生邊緣計算開源項目 KubeEdge 的設(shè)計和開發(fā)工作。現(xiàn)擔任華為邊云協(xié)同 OS 技術(shù)創(chuàng)新團隊負責人。

參考鏈接： https://github.com/kubeedge https://kubeedge.slack.com https://www.huaweicloud.com/lab/edgecloud/home.html ? ?

編輯：黃飛

?