華為FusionInsight智能數(shù)據(jù)湖解決方案助力各行充分釋放數(shù)據(jù)的價(jià)值

5G、IoT、AI等眾多新技術(shù)的涌現(xiàn)，人們的工作和生活都發(fā)生了極大的變化，一個(gè)智能數(shù)據(jù)時(shí)代正在到來。這不僅進(jìn)一步凸顯了大數(shù)據(jù)的底座價(jià)值，也給數(shù)據(jù)的分析利用帶來了更多的挑戰(zhàn)。

在今日的在華為云TechWave大數(shù)據(jù)專題日上，華為云人工智能領(lǐng)域總裁賈永利解讀了最新的發(fā)展趨勢(shì)，分享了FusionInsight智能數(shù)據(jù)湖解決方案等華為云在大數(shù)據(jù)技術(shù)上的實(shí)踐與創(chuàng)新，以幫助千行百業(yè)“管好數(shù)據(jù)、用好數(shù)據(jù)”，充分釋放數(shù)據(jù)的價(jià)值。

數(shù)據(jù)分析利用面臨多重挑戰(zhàn)

回首從90年代到今天，人類經(jīng)歷了PC時(shí)代、互聯(lián)網(wǎng)時(shí)代、移動(dòng)互聯(lián)網(wǎng)時(shí)代，隨著不同技術(shù)的演進(jìn)，數(shù)據(jù)也發(fā)生了巨大的變化。

賈永利解讀說，首先，數(shù)據(jù)的規(guī)模越來越大。近年來，無論是面向ToB領(lǐng)域、還是ToC領(lǐng)域，隨著技術(shù)的發(fā)展、需求的增長(zhǎng)，企業(yè)、個(gè)人、設(shè)備都在時(shí)時(shí)刻刻產(chǎn)生數(shù)據(jù)，數(shù)據(jù)的體積越來越大。

同時(shí)，數(shù)據(jù)種類越來越多，逐步走向多樣性。除了我們熟悉的結(jié)構(gòu)化數(shù)據(jù)，出現(xiàn)了更多的非結(jié)構(gòu)化數(shù)據(jù)，比如視頻、圖像、語音、文本等，并且這些多樣性的數(shù)據(jù)需要用多樣性的算力去處理，這也給數(shù)據(jù)處理帶來了更加復(fù)雜的挑戰(zhàn)。

第三，應(yīng)用對(duì)數(shù)據(jù)處理的時(shí)效性要求越來越高。很多場(chǎng)景下，我們需要數(shù)據(jù)進(jìn)入系統(tǒng)時(shí)就可以被查詢、被分析，這個(gè)時(shí)間差要求越來越短。比如在工業(yè)領(lǐng)域，設(shè)備的持續(xù)數(shù)據(jù)處理要求就非常高；在金融領(lǐng)域，交易信息、風(fēng)控信息對(duì)數(shù)據(jù)處理的時(shí)延要求亦遠(yuǎn)超以往。

最后，對(duì)于數(shù)據(jù)融合分析的要求也越來越高。很多場(chǎng)景下，我們希望不止分析當(dāng)前數(shù)據(jù)，更希望歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行聯(lián)合分析，隨著分析和交易越發(fā)緊密、融合，分析的結(jié)果、規(guī)則越來越多地被注入到實(shí)時(shí)交易系統(tǒng)中。

不同行業(yè)的數(shù)據(jù)特點(diǎn)與訴求

在解讀數(shù)據(jù)變化以及隨之而來的挑戰(zhàn)的同時(shí)，賈永利亦在發(fā)言中剖析了不同行業(yè)數(shù)據(jù)的特點(diǎn)與他們的訴求。

以運(yùn)營商為例，隨著5G的到來，產(chǎn)生的數(shù)據(jù)、需要處理的數(shù)據(jù)顯著增加。有預(yù)測(cè)認(rèn)為，5G的到來將帶來至少8倍以上的數(shù)據(jù)體積膨脹，那么就需要很多處理系統(tǒng)，需要從單集群走向多集群——能不能處理好數(shù)據(jù)成為一個(gè)首要目標(biāo)。

從廣大政企行業(yè)來看，越來越多的多樣性數(shù)據(jù)如何統(tǒng)一處理，是否遵循同一套標(biāo)準(zhǔn)、規(guī)范，從而能夠讓整個(gè)數(shù)據(jù)在處理過程中可管可控，更高效協(xié)同不同組織、不同廠家進(jìn)行開發(fā)，也極為關(guān)鍵。而像金融領(lǐng)域、工業(yè)領(lǐng)域?qū)?shù)據(jù)處理的實(shí)時(shí)性要求極為苛刻，為了避免業(yè)務(wù)中斷過程造成的損失，實(shí)時(shí)性就成為了核心訴求。

此外，為了高效挖掘數(shù)據(jù)價(jià)值，千行百業(yè)的數(shù)據(jù)融合分析已成大勢(shì)所趨。是否可以通過一站式的分析平臺(tái)，全局使用一份數(shù)據(jù)，從而能夠更全面、精準(zhǔn)地進(jìn)行分析，從海量數(shù)據(jù)中找到客戶真正想要的價(jià)值，變得越來越重要。

圍繞數(shù)據(jù)全生命周期提供整體解決方案

為了應(yīng)對(duì)企業(yè)面臨的各種挑戰(zhàn)，在數(shù)據(jù)域，華為云提出了FusionInsight智能數(shù)據(jù)湖解決方案，圍繞客戶“采、存、算、管、用”等數(shù)據(jù)全生命周期提供整體解決方案。

從架構(gòu)上來看，華為云FusionInsight智能數(shù)據(jù)湖解決方案是一個(gè)開放的架構(gòu)，充分利用了數(shù)據(jù)域的處理能力和云自身的云原生（Cloud-Native）能力進(jìn)行融合，率先做到了真正的基于云原生存算分離的架構(gòu)和實(shí)現(xiàn)，讓數(shù)據(jù)規(guī)?？晒芾聿辉偈且粋€(gè)難題。

華為云FusionInsight智能數(shù)據(jù)湖方案主要包含MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫、GES圖計(jì)算、一站式數(shù)據(jù)運(yùn)營平臺(tái)DAYU等云服務(wù)。其中，華為云FusionInsight MRS大數(shù)據(jù)、GaussDB（DWS）數(shù)據(jù)倉庫，可助力客戶在數(shù)字化轉(zhuǎn)型中構(gòu)建堅(jiān)實(shí)的數(shù)據(jù)底座，并通過HetuEngine數(shù)據(jù)虛擬化引擎簡(jiǎn)化用數(shù)，提高效率。

同時(shí)，為標(biāo)準(zhǔn)化多樣性數(shù)據(jù)，一站式數(shù)據(jù)運(yùn)營平臺(tái)DAYU向下可接入日志、文本、視頻、音頻、圖片等各類型數(shù)據(jù)，基于多樣性算力與CarbonData實(shí)現(xiàn)全局一份數(shù)據(jù)的統(tǒng)一格式存儲(chǔ)；向上為伙伴開發(fā)50+數(shù)據(jù)集成開發(fā)API，使能數(shù)據(jù)，攜手生態(tài)伙伴打造各行業(yè)應(yīng)用。

目前，華為云FusionInsight已廣泛應(yīng)用于政府、金融、運(yùn)營商、大企業(yè)、互聯(lián)網(wǎng)等行業(yè)，攜手800多家合作伙伴，為全球60多個(gè)國家和地區(qū)的3000多家政企客戶提供服務(wù)。

華為云重磅發(fā)布實(shí)時(shí)數(shù)倉產(chǎn)品

為響應(yīng)政企用戶在IoT和運(yùn)維監(jiān)控等場(chǎng)景下對(duì)數(shù)據(jù)倉庫時(shí)效性的需求，華為云發(fā)布了GaussDB（DWS） 實(shí)時(shí)數(shù)倉新品，引入了HetuEngine和CarbonDate兩個(gè)重要引擎，具備快、易、簡(jiǎn)、省四大特點(diǎn)。

HetuEngine可以幫助企業(yè)構(gòu)建一個(gè)虛擬化數(shù)據(jù)分析引擎，有了這個(gè)引擎就可以分析多元、多域更為復(fù)雜場(chǎng)景下的數(shù)據(jù)。CarbonDate可以圍繞數(shù)據(jù)的存儲(chǔ)進(jìn)行一系列優(yōu)化和數(shù)據(jù)格式組織，從而實(shí)現(xiàn)全局一份數(shù)據(jù)、以統(tǒng)一的格式存儲(chǔ)，能夠給北向提供更加豐富的開發(fā)API，使數(shù)據(jù)集成更容易、使用更高效。

在“快”方面，GaussDB（DWS）實(shí)時(shí)數(shù)倉時(shí)序數(shù)據(jù)單機(jī)入庫性能支持每秒10萬條數(shù)據(jù)、每秒60萬條流數(shù)據(jù)持續(xù)計(jì)算入庫，并可線性擴(kuò)展。這樣無論在工業(yè)領(lǐng)域、金融領(lǐng)域，抑或物聯(lián)網(wǎng)領(lǐng)域，都可以解決很多目前所無法解決的問題。

在“易”方面，GaussDB（DWS） 實(shí)時(shí)數(shù)倉支持基于SQL完成復(fù)雜流式計(jì)算語義定義，簡(jiǎn)化開發(fā)。以Druid監(jiān)控的一個(gè)場(chǎng)景為例，僅用150行SQL代碼就實(shí)現(xiàn)了原有1900行Druid腳本同樣的功能，實(shí)現(xiàn)超過十倍的提升。

在“簡(jiǎn)”方面，GaussDB（DWS） 實(shí)時(shí)數(shù)倉實(shí)現(xiàn)了1 = N。在一個(gè)平臺(tái)內(nèi)，同時(shí)實(shí)現(xiàn)Flink/Spark Streaming（流數(shù)據(jù)處理）+Druid（流數(shù)據(jù)預(yù)聚合）+InfluxDB（時(shí)序數(shù)據(jù)處理），簡(jiǎn)化了開發(fā)和運(yùn)維工作。

在“省”方面，時(shí)序數(shù)據(jù)經(jīng)過實(shí)時(shí)數(shù)倉的自適應(yīng)壓縮算法，最高可達(dá)40:1的壓縮比，將多維度行列存儲(chǔ)優(yōu)化，數(shù)據(jù)冷熱溫自動(dòng)分區(qū)，從而極大地減少存儲(chǔ)空間，節(jié)省用戶成本。

“華為云將圍繞數(shù)據(jù)持續(xù)進(jìn)行創(chuàng)新，聯(lián)合客戶和合作伙伴，通過更好的技術(shù)，幫助千行百業(yè)真正管好自己的數(shù)據(jù)、用好自己的數(shù)據(jù)，釋放數(shù)據(jù)的價(jià)值。”在發(fā)言的最后，賈永利如是說道。

責(zé)任編輯：gt