華為云智能數(shù)據(jù)湖解決方案助力政企智能化升級

由大數(shù)據(jù)產(chǎn)業(yè)生態(tài)聯(lián)盟聯(lián)合《軟件和集成電路》雜志社、賽迪顧問股份有限公司、工信部賽迪智庫共同編制的《2020中國大數(shù)據(jù)產(chǎn)業(yè)生態(tài)地圖暨中國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展白皮書》（以下簡稱《白皮書》）顯示，數(shù)據(jù)關(guān)鍵要素作用初步顯現(xiàn)，數(shù)據(jù)共享開放初見成效，數(shù)據(jù)治理成為關(guān)注重點(diǎn)；2020年，我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將達(dá)到6670．2億元，增長率為23．6％。

隨著技術(shù)的演進(jìn)，數(shù)據(jù)發(fā)生了巨大變化，不僅數(shù)據(jù)規(guī)模越來越大、數(shù)據(jù)種類呈現(xiàn)多樣性，而且人們對于數(shù)據(jù)處理的時(shí)效性，以及數(shù)據(jù)融合分析的要求也越來越高。華為云人工智能領(lǐng)域總裁賈永利表示，為了幫助企業(yè)從容應(yīng)對數(shù)據(jù)智能時(shí)代的各種挑戰(zhàn)，華為云推出了智能數(shù)據(jù)湖FusionInsight，圍繞客戶在使用數(shù)據(jù)、管理數(shù)據(jù)全生命周期方面提供整體解決方案，讓企業(yè)用戶更方便、快捷地用好數(shù)據(jù)的同時(shí)，加速數(shù)字化轉(zhuǎn)型進(jìn)程，釋放數(shù)據(jù)紅利。

一切為了數(shù)據(jù)

在8月31日下午舉辦的華為云TechWave大數(shù)據(jù)專題日上，華為云大數(shù)據(jù)又有新動(dòng)作，GaussDB（DWS）實(shí)時(shí)數(shù)倉登場亮相。

華為云人工智能總裁賈永利發(fā)布GaussDB（DWS）實(shí)時(shí)數(shù)倉

隨著5G、人工智能、邊緣計(jì)算的興起，數(shù)據(jù)量越來越大，處理好數(shù)據(jù)、用好數(shù)據(jù)成為企業(yè)數(shù)字化轉(zhuǎn)型的一個(gè)首要目標(biāo)。賈永利指出，從廣大政企客戶的需求來看，不斷增加的多樣性數(shù)據(jù)的統(tǒng)一處理，讓數(shù)據(jù)在處理過程中可管可控，并且可以更高效地協(xié)同不同組織變得越來越重要，而實(shí)時(shí)性處理、數(shù)據(jù)融合分析則是重中之重。

通過一站式的分析平臺(tái)，全局使用一份數(shù)據(jù)，更全面、更精準(zhǔn)地分析數(shù)據(jù)，從海量數(shù)據(jù)中找到客戶真正想要的價(jià)值，是大數(shù)據(jù)廠商肩負(fù)的使命。華為云提出的智能數(shù)據(jù)湖解決方案正是以數(shù)據(jù)的使用和價(jià)值為核心，旨在實(shí)現(xiàn)數(shù)據(jù)全生命周期的高效管理?！盎陂_放架構(gòu)的華為云智能數(shù)據(jù)湖解決方案，真正做到了基于云原生的存算分離，讓數(shù)據(jù)規(guī)?？晒芾?、數(shù)據(jù)更好用?！辟Z永利如是說。

舉例來說，為了提升海量數(shù)據(jù)的實(shí)時(shí)處理能力，GaussDB（DWS）實(shí)時(shí)數(shù)倉增強(qiáng)了線性擴(kuò)展能力，單節(jié)點(diǎn)每秒可以處理60萬條以上的數(shù)據(jù)；采用具有最廣泛開發(fā)者生態(tài)的數(shù)據(jù)分析語言，不管是流處理，還是實(shí)時(shí)分析，處理性能都會(huì)有數(shù)倍提升；GaussDB（DWS）的使用更簡單，減輕了程序員在開發(fā)、使用和運(yùn)維等方面的工作量；GaussDB（DWS）還可以極大地節(jié)省客戶數(shù)據(jù)全生命周期管理的綜合成本。

GaussDB（DWS）實(shí)時(shí)數(shù)倉只是“冰山一角”，華為云大數(shù)據(jù)還有很多“黑科技”等待揭秘。

華為云智能數(shù)據(jù)湖的秘密

在8月26日揭曉的“2020中國大數(shù)據(jù)企業(yè)50強(qiáng)”榜單中，華為云大數(shù)據(jù)連續(xù)四年上榜。這是業(yè)界對華為云FusionInsight的技術(shù)創(chuàng)新能力和實(shí)踐應(yīng)用成果的充分肯定。作為“最懂行”的大數(shù)據(jù)解決方案，華為云FusionInsight也再次引發(fā)廣泛關(guān)注。

趁熱打鐵，在華為云TechWave大數(shù)據(jù)專題日上，華為的“博士天團(tuán)”重點(diǎn)揭秘了華為云FusionInsight的幾大核心能力——提供大集群、湖倉一體、實(shí)時(shí)數(shù)據(jù)湖等關(guān)鍵技術(shù)的MRS大數(shù)據(jù)，全局一份數(shù)據(jù)、秒級用數(shù)、T＋0入湖的CarbonData數(shù)據(jù)存儲(chǔ)引擎，GaussDB（DWS）新一代全場景云數(shù)據(jù)倉庫和一站式云化數(shù)據(jù)運(yùn)營平臺(tái)DAYU。

隨著5G、IoT新技術(shù)發(fā)展，數(shù)據(jù)規(guī)模、數(shù)據(jù)來源、業(yè)務(wù)場景將快速變化，這些變化給數(shù)據(jù)存儲(chǔ)、計(jì)算、分析和安全等帶來全新的挑戰(zhàn)和需求，大規(guī)模、多樣化的數(shù)據(jù)，需要實(shí)時(shí)、融合分析。華為云FusionInsight MRS大數(shù)據(jù)就是在不斷理解客戶場景需求，感受客戶使用痛點(diǎn)，積累豐富經(jīng)驗(yàn)，打造領(lǐng)先的大數(shù)據(jù)解決方案。

企業(yè)級大數(shù)據(jù)平臺(tái)FusionInsight MRS，為企業(yè)數(shù)據(jù)湖底座，堅(jiān)持開放生態(tài)，長達(dá)十年以上的大數(shù)據(jù)經(jīng)驗(yàn)積累，是全球60多個(gè)國家與地區(qū)3000多個(gè)政企客戶的共同選擇。

FusionInsight MRS支持超2萬節(jié)點(diǎn)超大規(guī)模單集群管理能力，業(yè)界最佳，提供企業(yè)級多租戶能力，讓一個(gè)企業(yè)一個(gè)湖成為現(xiàn)實(shí)；支持企業(yè)級能力讓大數(shù)據(jù)運(yùn)維無憂，擁有成熟的在線升級能力，升級過程業(yè)務(wù)零中斷，業(yè)務(wù)永遠(yuǎn)在線，并已在金融、政府等客戶在線升級實(shí)踐，得到行業(yè)高度認(rèn)可；支持?jǐn)?shù)據(jù)湖事務(wù)ACID，實(shí)現(xiàn)企業(yè)數(shù)據(jù)實(shí)時(shí)增量入湖，讓大數(shù)據(jù)分析從T＋1到T＋0，讓業(yè)務(wù)創(chuàng)新更敏捷；支持高性能交互式查詢引擎秒級供數(shù)，實(shí)現(xiàn)湖倉一體，數(shù)據(jù)不出湖，直接對接BI類業(yè)務(wù)，自助分析，數(shù)據(jù)供應(yīng)鏈路短，效率提升2倍以上；支持跨源跨域的數(shù)據(jù)分析，打破地域數(shù)據(jù)墻，使得企業(yè)跨域分析效率從周提升到分鐘級。

CarbonData是一個(gè)高性能EB級別分析型數(shù)據(jù)倉庫，提供面向?qū)ο蟠鎯?chǔ)上EB級數(shù)據(jù)的高性能明細(xì)查詢能力、交互式查詢能力，提供流數(shù)據(jù)接入、數(shù)據(jù)實(shí)時(shí)同步和更新能力，提供對主要ETL業(yè)務(wù)的支持和加速，以及機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等AI引擎，生態(tài)發(fā)展越來越完善。

CarbonData自2015年進(jìn)入Apache孵化器；2016年CarbonData正式從Apache孵化器畢業(yè)，正式成為首個(gè)中國公司貢獻(xiàn)的Apache頂級項(xiàng)目；2020年重磅發(fā)布2．0里程碑版本，重新定義智能數(shù)據(jù)湖索引和事務(wù)能力。

CarbonData數(shù)據(jù)存儲(chǔ)引擎，面對復(fù)雜業(yè)務(wù)場景實(shí)現(xiàn)全局一份數(shù)據(jù)導(dǎo)出使用，免去數(shù)據(jù)搬遷的困擾；面對海量數(shù)據(jù)的查詢使用，針對性優(yōu)化了查詢加速，可實(shí)現(xiàn)PB級數(shù)據(jù)30秒內(nèi)響應(yīng)；在時(shí)間就是金錢的信息時(shí)代，時(shí)效性的突出優(yōu)勢被企業(yè)所看好，CarbonData支持?jǐn)?shù)據(jù)更新，可實(shí)現(xiàn)數(shù)據(jù)T＋0實(shí)時(shí)入湖，大大優(yōu)化了傳統(tǒng)T＋1、T＋2的可見時(shí)延。

數(shù)據(jù)倉庫是企業(yè)的“中樞系統(tǒng)”，也是業(yè)務(wù)創(chuàng)新的基礎(chǔ)，但長久以來一直受到“擴(kuò)展性、實(shí)時(shí)性、可用性、易用性”等問題的困擾。華為云GaussDB（DWS）十年磨一劍，在核心技術(shù)上實(shí)現(xiàn)了突破，為新一代企業(yè)級數(shù)據(jù)倉庫系統(tǒng)樹立了標(biāo)桿。

截至目前，全球超過500家大客戶已使用GaussDB（DWS）構(gòu)建自己的核心數(shù)據(jù)倉庫系統(tǒng)。而GaussDB（DWS）之所以能如此快速贏得大企業(yè)客戶的信任，主要得益于其“大、快、穩(wěn)”的特點(diǎn)。

GaussDB（DWS）的“大”集中體現(xiàn)在，設(shè)計(jì)規(guī)模為2048節(jié)點(diǎn)，可支持PB級數(shù)據(jù)容量，隨著節(jié)點(diǎn)數(shù)增加，集群的性能和容量呈線性增長，線性比＞0．9；GaussDB（DWS）導(dǎo)入和分析“快”如閃電，因?yàn)樗捎昧巳⑿杏?jì)算架構(gòu)，并支持新一代智能優(yōu)化器技術(shù)、高效的算子算法、動(dòng)態(tài)編譯等核心技術(shù)；因?yàn)椴捎枚鄬觽浞?、多級保護(hù)技術(shù)，GaussDB（DWS）“穩(wěn)”如泰山，即使出現(xiàn)軟硬件故障，也能快速檢測和響應(yīng)，并自動(dòng)切換，確保業(yè)務(wù)持續(xù)可用。

華為云大數(shù)據(jù)產(chǎn)品總監(jiān)楊興華表示，管好數(shù)、用好數(shù)是一個(gè)非常不容易的過程，需要跨越數(shù)據(jù)孤島、數(shù)據(jù)有序管理、系統(tǒng)安全管理等幾道鴻溝。為此，華為云打造了融合、開放的一站式云化數(shù)據(jù)運(yùn)營平臺(tái)DAYU，協(xié)同伙伴，實(shí)現(xiàn)“從比特到信息”的價(jià)值發(fā)現(xiàn)，釋放數(shù)據(jù)之美。

在2019年發(fā)布的1．0版本基礎(chǔ)之上，DAYU又在架構(gòu)上進(jìn)行了優(yōu)化，同時(shí)增強(qiáng)了新的特性：采用全域聯(lián)邦數(shù)據(jù)資產(chǎn)管理，與超過30＋的數(shù)據(jù)源對接，通過河圖引擎的虛擬入湖技術(shù)，實(shí)現(xiàn)跨源跨域的數(shù)據(jù)發(fā)現(xiàn)與連接，打破數(shù)據(jù)孤島的同時(shí)，形成數(shù)據(jù)融合協(xié)同，“立而不破”；采用開放架構(gòu)體系，圍繞數(shù)據(jù)使用構(gòu)建端到端工具平臺(tái)，基于“黑土地”的定位，提供分層API接口供伙伴調(diào)用；建立共享型行業(yè)資產(chǎn)模型，采用模型驅(qū)動(dòng)的理念，實(shí)現(xiàn)資產(chǎn)的一鍵注入、導(dǎo)出、自動(dòng)化管理，數(shù)據(jù)資產(chǎn)化效率實(shí)現(xiàn)3倍提升。

楊興華強(qiáng)調(diào)說，統(tǒng)一元數(shù)據(jù)管理和安全管理是DAYU新增的最重要的特性；元數(shù)據(jù)管理是整個(gè)數(shù)據(jù)運(yùn)營平臺(tái)的基礎(chǔ)，DAYU圍繞數(shù)據(jù)目錄、資產(chǎn)地圖、數(shù)據(jù)血緣，打造了進(jìn)階式的數(shù)據(jù)資產(chǎn)管理體系，提供全域數(shù)據(jù)統(tǒng)一視圖，讓用戶深度“認(rèn)知”數(shù)據(jù)資產(chǎn)；DAYU圍繞數(shù)據(jù)從權(quán)限管控、合規(guī)審計(jì)、敏感發(fā)現(xiàn)、隱私保護(hù)、風(fēng)險(xiǎn)管理五個(gè)方面構(gòu)建了完善的安全管理能力，實(shí)現(xiàn)了全流程統(tǒng)一數(shù)據(jù)安全管理，讓用戶放心“用數(shù)”。

楊興華介紹說，DAYU推出一年多以來，其端到端全流程數(shù)據(jù)可視管理和一鍵式資產(chǎn)沉淀能力得到了實(shí)踐驗(yàn)證，并在能源、政務(wù)、教育、園區(qū)、機(jī)場、工業(yè)制造等行業(yè)廣泛應(yīng)用，使能行業(yè)數(shù)據(jù)價(jià)值釋放。

助力政企智能化升級

《白皮書》顯示，5G、AI技術(shù)的應(yīng)用，以及“新基建”項(xiàng)目的落地，是電信行業(yè)大數(shù)據(jù)爆發(fā)式增長的關(guān)鍵。電信運(yùn)營商主要面臨傳統(tǒng)平臺(tái)架構(gòu)改造難度大、數(shù)據(jù)管理能力有待提升、共性技術(shù)研發(fā)有待突破等挑戰(zhàn)。

中國移動(dòng)通信集團(tuán)廣東有限公司（以下簡稱廣東移動(dòng)）信息系統(tǒng)部總經(jīng)理譚麗麗表示，為了更好地釋放運(yùn)營商大數(shù)據(jù)的強(qiáng)大生產(chǎn)力，廣東移動(dòng)基于華為云FusionInsight構(gòu)建智慧中臺(tái)，并聯(lián)合政企客戶共同打造智慧電網(wǎng)、智慧交通、智慧港口、高清視頻應(yīng)用等一系列智慧應(yīng)用標(biāo)桿。

廣東移動(dòng)智慧中臺(tái)

早在2015年10月，廣東移動(dòng)便啟動(dòng)了大數(shù)據(jù)平臺(tái)建設(shè)工作，2016年建立子公司統(tǒng)一的大數(shù)據(jù)生態(tài)，并依托大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)內(nèi)部業(yè)務(wù)效率提升和外部用戶服務(wù)。如今，廣東移動(dòng)大數(shù)據(jù)集群規(guī)模超過2500個(gè)節(jié)點(diǎn)，存儲(chǔ)容量達(dá)到80PB，覆蓋移動(dòng)用戶數(shù)超1．3億，是全國運(yùn)營商領(lǐng)域覆蓋用戶數(shù)量最多、規(guī)模最大、技術(shù)領(lǐng)先的大數(shù)據(jù)平臺(tái)。作為廣東移動(dòng)大數(shù)據(jù)技術(shù)平臺(tái)的數(shù)字底座，華為云FusionInsight提供了Hadoop大數(shù)據(jù)處理、跨源數(shù)據(jù)處理、實(shí)時(shí)計(jì)算等服務(wù)，并通過Redis內(nèi)存優(yōu)化和Flink內(nèi)存管理優(yōu)化等技術(shù)提升大數(shù)據(jù)處理效率。

“廣東移動(dòng)智慧中臺(tái)從建立之初就選擇與華為云FusionInsight合作，實(shí)現(xiàn)了非常多的技術(shù)創(chuàng)新與突破，包括自主搭建運(yùn)營商數(shù)據(jù)中臺(tái)，實(shí)現(xiàn)無感知滾動(dòng)升級，自主研發(fā)超級資源調(diào)度引擎Superior和跨集群協(xié)同技術(shù)等?！弊T麗麗表示，“未來，廣東移動(dòng)將與華為持續(xù)在大數(shù)據(jù)領(lǐng)域進(jìn)行創(chuàng)新與探索，為各行業(yè)提供領(lǐng)先的大數(shù)據(jù)服務(wù)能力、完備的管控能力和創(chuàng)新的變現(xiàn)能力?！?/p>

在金融領(lǐng)域，華為云大數(shù)據(jù)的創(chuàng)新能力與支撐能力同樣得到了充分彰顯。通過大數(shù)據(jù)等新技術(shù)的應(yīng)用，工商銀行經(jīng)歷了從自動(dòng)化到數(shù)據(jù)化、智能化、生態(tài)化的四個(gè)發(fā)展階段，實(shí)現(xiàn)了由傳統(tǒng)數(shù)據(jù)輔助決策向數(shù)據(jù)驅(qū)動(dòng)決策模式的快速演進(jìn)，大幅提升了工商銀行金融服務(wù)實(shí)體經(jīng)濟(jì)的能力。

工商銀行軟件開發(fā)中心總經(jīng)理助理劉承巖舉例說，在智能化階段，工商銀行與華為開展聯(lián)創(chuàng)工作，引入華為云Fusionsight和GaussDB（DWS）大數(shù)據(jù)、數(shù)倉產(chǎn)品，搭建自主可控的大數(shù)據(jù)云平臺(tái)，有力地支撐了工商銀行企業(yè)級數(shù)據(jù)湖、數(shù)據(jù)倉庫、集團(tuán)信息庫的建設(shè)；在生態(tài)化階段，工商銀行繼續(xù)深化與華為的合作，實(shí)現(xiàn)了大數(shù)據(jù)云平臺(tái)與華為云Stack云基礎(chǔ)設(shè)施的融合，提升了大數(shù)據(jù)云平臺(tái)的高可用和彈性靈活擴(kuò)展能力，全面支撐數(shù)據(jù)中臺(tái)的生態(tài)化建設(shè)，助力工商銀行數(shù)字化轉(zhuǎn)型。

工商銀行提出了“數(shù)字工行”的建設(shè)新思路。為實(shí)現(xiàn)這一目標(biāo)，工商銀行正加快推進(jìn)大數(shù)據(jù)技術(shù)平臺(tái)與華為云的融合，構(gòu)建混布式容器化和存算分離架構(gòu)，進(jìn)一步提升大數(shù)據(jù)平臺(tái)的高可用、穩(wěn)定性，以及資源的靈活擴(kuò)展能力，更好滿足工商銀行“全數(shù)據(jù)存儲(chǔ)、全數(shù)據(jù)挖掘、全算法應(yīng)用、全場景布署”的需要。

其實(shí)，華為云智能數(shù)據(jù)湖FusionInsight不僅僅成功應(yīng)用于像金融、電信這樣的數(shù)字化轉(zhuǎn)型排頭兵，而且已廣泛應(yīng)用于醫(yī)學(xué)、物流、互聯(lián)網(wǎng)、汽車、政府等領(lǐng)域，覆蓋全球60個(gè)國家及地區(qū)，服務(wù)著3000＋客戶。

華為云FusionInsight為政企提供了全融合、智能化、云化的湖倉一體解決方案，主要包括MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫、GES圖計(jì)算、DAYU數(shù)據(jù)運(yùn)營等云服務(wù)。

其中華為云FusionInsight MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫，可助力客戶構(gòu)建堅(jiān)實(shí)的數(shù)據(jù)底座，通過HetuEngine數(shù)據(jù)虛擬化引擎簡化用數(shù)，提高效率。DAYU數(shù)據(jù)運(yùn)營平臺(tái)向下可接入日志、文本、視頻、音頻、圖片等各類型數(shù)據(jù)，基于多樣性算力與CarbonData，可實(shí)現(xiàn)全局一份數(shù)據(jù)的統(tǒng)一格式存儲(chǔ)；向上為伙伴開發(fā)50＋數(shù)據(jù)集成開發(fā)API，攜手800＋生態(tài)伙伴打造各行業(yè)應(yīng)用。華為云還在全球多個(gè)地區(qū)設(shè)有OpenLab，以支撐與客戶、合作伙伴在云和大數(shù)據(jù)方面的聯(lián)合創(chuàng)新。

以客戶為中心，以用好和管好數(shù)據(jù)為宗旨，華為云大數(shù)據(jù)通過持續(xù)的創(chuàng)新與升級，為政企的數(shù)字化轉(zhuǎn)型和智能化升級鋪路。這就是華為云的大數(shù)據(jù)之道。

責(zé)任編輯：gt