基于華為大數(shù)據(jù)存算分離方案，為運(yùn)營商帶來巨大價(jià)值

2020年初中國聯(lián)通發(fā)布公告，基于華為Kunpeng大數(shù)據(jù)存算分離方案，中國聯(lián)通集團(tuán)聯(lián)合華為技術(shù)有限公司共同完成了大數(shù)據(jù)計(jì)算存儲(chǔ)分離架構(gòu)的規(guī)模化技術(shù)創(chuàng)新。中國聯(lián)通將上線超過100臺(tái)Kunpeng大數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，計(jì)算存儲(chǔ)分離架構(gòu)已經(jīng)成為運(yùn)營商大數(shù)據(jù)平臺(tái)創(chuàng)新的利器。該方案將為運(yùn)營商大數(shù)據(jù)創(chuàng)新帶來巨大價(jià)值：

運(yùn)營商大數(shù)據(jù)平臺(tái)降本增效需求凸顯

作為數(shù)字化轉(zhuǎn)型的先行者，運(yùn)營商利用大數(shù)據(jù)平臺(tái)進(jìn)行經(jīng)營分析、網(wǎng)絡(luò)優(yōu)化、流量清單、日志留存等業(yè)務(wù)。這些大數(shù)據(jù)平臺(tái)在運(yùn)營商業(yè)務(wù)中發(fā)揮著至關(guān)重要的作用，但龐大的數(shù)據(jù)量也給用戶帶來了新的挑戰(zhàn)。為應(yīng)對(duì)挑戰(zhàn)，運(yùn)營商在大數(shù)據(jù)平臺(tái)的建設(shè)和擴(kuò)容方面每年都保持著規(guī)模投入（是否可以提供金額數(shù)字支撐？如金額較小就不寫了），隨之而來的降本與增效矛盾越發(fā)突出：

傳統(tǒng)大數(shù)據(jù)平臺(tái)計(jì)算存儲(chǔ)等比例擴(kuò)容，無法精準(zhǔn)投資

當(dāng)前運(yùn)營商大數(shù)據(jù)平臺(tái)基于傳統(tǒng)存算一體架構(gòu)獨(dú)立建設(shè)。但不同業(yè)務(wù)對(duì)大數(shù)據(jù)平臺(tái)計(jì)算和存儲(chǔ)的資源要求差異較大，如網(wǎng)優(yōu)類業(yè)務(wù)是計(jì)算密集型的業(yè)務(wù)，CPU利用率長期維持在90%以上，存儲(chǔ)水位線往往低于20%；而日志留存和流量清單則是存儲(chǔ)密集型的業(yè)務(wù)，以點(diǎn)查為主，CPU平均利用率不足30%，存儲(chǔ)水位線卻已經(jīng)在70%以上，經(jīng)常需要被動(dòng)刪除數(shù)據(jù)釋放存儲(chǔ)空間。傳統(tǒng)的計(jì)算存儲(chǔ)等比例擴(kuò)容，會(huì)造成計(jì)算或存儲(chǔ)資源的浪費(fèi)。

傳統(tǒng)大數(shù)據(jù)平臺(tái)多副本機(jī)制，占用大量機(jī)房空間

傳統(tǒng)大數(shù)據(jù)平臺(tái)使用多副本方式進(jìn)行數(shù)據(jù)保護(hù)，常見的存儲(chǔ)利用率僅為33%（2副本為50%）。運(yùn)營商的日志留存業(yè)務(wù)，每千萬用戶就會(huì)產(chǎn)生約6PB的數(shù)據(jù)。隨著5G、IoT等業(yè)務(wù)興起，當(dāng)前正以每年約40%的速度在快速增長。10PB的數(shù)據(jù)量，以多副本方式存儲(chǔ)，就需要數(shù)百臺(tái)服務(wù)器，占用大量的機(jī)房空間，同時(shí)帶來供電、制冷等一系列的維護(hù)成本增加。

傳統(tǒng)大數(shù)據(jù)平臺(tái)計(jì)算存儲(chǔ)緊耦合，資源調(diào)度不靈活

運(yùn)營商大數(shù)據(jù)已經(jīng)應(yīng)用到各個(gè)業(yè)務(wù)系統(tǒng)，形成了很多獨(dú)立的大數(shù)據(jù)集群。基于大數(shù)據(jù)海量的數(shù)據(jù)存儲(chǔ)和計(jì)算需求，傳統(tǒng)做法是獨(dú)立建設(shè)大數(shù)據(jù)集群，避免和實(shí)時(shí)業(yè)務(wù)搶占計(jì)算資源。但大數(shù)據(jù)集群業(yè)務(wù)峰值和實(shí)時(shí)業(yè)務(wù)有明顯差異，比如經(jīng)營分析系統(tǒng)，業(yè)務(wù)高峰期是在22:00-06:00，而計(jì)費(fèi)等實(shí)時(shí)業(yè)務(wù)系統(tǒng)業(yè)務(wù)高峰期是在06:00-22:00。由于計(jì)算和存儲(chǔ)融合，傳統(tǒng)大數(shù)據(jù)平臺(tái)無法在不同業(yè)務(wù)系統(tǒng)間靈活調(diào)度計(jì)算資源，浪費(fèi)寶貴的算力。同時(shí)，一旦出現(xiàn)緊急需求，傳統(tǒng)大數(shù)據(jù)系統(tǒng)的改造時(shí)間往往需要按周計(jì)，嚴(yán)重影響業(yè)務(wù)上線時(shí)間。

在運(yùn)營商提速降費(fèi)的大背景下，這些問題變得尤為突出，降本增效，讓每一分錢用在 “刀刃”上，日益成為運(yùn)營商客戶的核心訴求。

華為Kunpeng大數(shù)據(jù)存算分離方案成為降本增效的良藥

面臨這些挑戰(zhàn)，三大運(yùn)營商不約而同的選擇了大數(shù)據(jù)存算分離方案，并攜手華為，選擇華為OceanStor大數(shù)據(jù)存算分離方案作為解決之道：

彈性EC，存儲(chǔ)利用率大幅提升

華為大數(shù)據(jù)存儲(chǔ)使用彈性EC替代傳統(tǒng)HDFS的多副本，存儲(chǔ)利用率提升了1.75倍，同時(shí)保證性能、可靠性和多副本相當(dāng)，并能夠大幅降低日志留存、流量清單這類存儲(chǔ)密集型業(yè)務(wù)的機(jī)房空間占用，節(jié)省大量的供電、制冷費(fèi)用，成本節(jié)約效果顯著。

依托華為Kunpeng多核算力，大幅提升數(shù)據(jù)存儲(chǔ)性能

華為大數(shù)據(jù)存儲(chǔ)采用Kunpeng多核架構(gòu)的處理器，基于多核架構(gòu)做深度優(yōu)化，如EC、壓縮等算法卸載到Kunpeng芯片上執(zhí)行，保證業(yè)務(wù)性能穩(wěn)定；基于多核架構(gòu)，優(yōu)化進(jìn)程并發(fā)度，充分發(fā)揮多核的性能，也是華為大數(shù)據(jù)存儲(chǔ)采用EC性能、保持可靠性的核心所在。

計(jì)算、存儲(chǔ)資源池化，靈活按需調(diào)度

采用華為大數(shù)據(jù)存算分離方案，計(jì)算集群和存儲(chǔ)集群可以分別云化，實(shí)現(xiàn)資源的按需調(diào)度。既解決了不同大數(shù)據(jù)集群間計(jì)算、存儲(chǔ)資源利用率不均的問題，又使得大數(shù)據(jù)計(jì)算節(jié)點(diǎn)可以和用戶的其他計(jì)算節(jié)點(diǎn)能夠按業(yè)務(wù)峰谷靈活調(diào)配，一舉兩得。

全分布式架構(gòu)，單NameSpace支持百億文件

傳統(tǒng)大數(shù)據(jù)平臺(tái)的主備NameNode架構(gòu)，長期存在當(dāng)單個(gè)NameSpace文件數(shù)超過1.5億后，性能大幅衰減的問題，甚至?xí)?dǎo)致NameNode崩潰。此時(shí)，客戶就需要拆分業(yè)務(wù)到多個(gè)NameSpace或手動(dòng)刪除業(yè)務(wù)，限制了大數(shù)據(jù)集群的擴(kuò)展。華為大數(shù)據(jù)存儲(chǔ)采用全分布式的NameNode架構(gòu)，每個(gè)物理節(jié)點(diǎn)既是存儲(chǔ)節(jié)點(diǎn)，也是元數(shù)據(jù)管理節(jié)點(diǎn)，性能隨著節(jié)點(diǎn)數(shù)增加線性擴(kuò)展，單個(gè)NameSpace可支持百億文件，幫助大數(shù)據(jù)平臺(tái)從容應(yīng)對(duì)5G時(shí)代海量數(shù)據(jù)存儲(chǔ)需求。

原生HDFS，新老共存，保護(hù)投資

華為的存算分離方案可提供原生HDFS接口，用戶應(yīng)用不需要任何修改就可以直接使用；還針對(duì)不同大數(shù)據(jù)組件的要求，該方案提供了多種擴(kuò)容方案，實(shí)現(xiàn)本地HDFS新老共存，保護(hù)用戶投資的同時(shí)，降低了數(shù)據(jù)遷移的難度，消除用戶的后顧之憂。

5G和AI的時(shí)代已經(jīng)到來，大數(shù)據(jù)在千行百業(yè)中正發(fā)揮著越來越重要的作用?；诖舜蔚腒unpeng大數(shù)據(jù)存算分離創(chuàng)新成果，華為將在Kunpeng生態(tài)領(lǐng)域，與中國聯(lián)通持續(xù)深入合作，實(shí)現(xiàn)更多技術(shù)創(chuàng)新和關(guān)鍵應(yīng)用成果落地，支撐客戶創(chuàng)造更多價(jià)值。

責(zé)任編輯：gt