深入了解數(shù)據(jù)和分析發(fā)展的技術(shù)趨勢(shì)

增強(qiáng)分析、持續(xù)型智能和可解釋型人工智能(AI)是未來(lái)三到五年內(nèi)數(shù)據(jù)和分析技術(shù)中最具顛覆性潛力的趨勢(shì)。

Gartner研究副總裁麗塔?薩拉姆(Rita Sallam)在悉尼舉行的Gartner數(shù)據(jù)與分析峰會(huì)上表示，數(shù)據(jù)和分析領(lǐng)域的領(lǐng)導(dǎo)者必須研究這些趨勢(shì)的潛在商業(yè)影響，并相應(yīng)地調(diào)整商業(yè)模式和運(yùn)營(yíng)，否則就有可能失去競(jìng)爭(zhēng)優(yōu)勢(shì)。她說(shuō)：

深入了解數(shù)據(jù)和分析發(fā)展的技術(shù)趨勢(shì)，并根據(jù)業(yè)務(wù)價(jià)值對(duì)其進(jìn)行優(yōu)先排序，這一點(diǎn)至關(guān)重要。

Gartner副總裁、著名分析師唐納德?范伯格(Donald Feinberg)表示，數(shù)字顛覆帶來(lái)的挑戰(zhàn)也創(chuàng)造了前所未有的機(jī)遇。海量的數(shù)據(jù)，加上云帶來(lái)的日益強(qiáng)大的處理能力，意味著現(xiàn)在可以大規(guī)模地訓(xùn)練和執(zhí)行必要的算法，以最終實(shí)現(xiàn)AI的全部潛力。他說(shuō)：

數(shù)據(jù)的規(guī)模、復(fù)雜性、分布式本質(zhì)、執(zhí)行速度以及數(shù)字業(yè)務(wù)所需的持續(xù)智能，意味著僵化和集中的架構(gòu)和工具將會(huì)崩潰。任何業(yè)務(wù)的持續(xù)生存都將依賴于一個(gè)敏捷的、以數(shù)據(jù)為中心的體系結(jié)構(gòu)，該體系結(jié)構(gòu)對(duì)不斷變化的速度做出響應(yīng)。

Gartner建議數(shù)據(jù)和分析領(lǐng)導(dǎo)者與高級(jí)業(yè)務(wù)負(fù)責(zé)人討論他們的關(guān)鍵業(yè)務(wù)優(yōu)先級(jí)，并探索以下主要趨勢(shì)如何實(shí)現(xiàn)這些優(yōu)先級(jí)。

No.1 增強(qiáng)分析

增強(qiáng)分析(Augmented analytics)是數(shù)據(jù)和分析市場(chǎng)的下一波顛覆。它使用機(jī)器學(xué)習(xí)(ML)和人工智能技術(shù)來(lái)轉(zhuǎn)換分析內(nèi)容的開發(fā)、使用和共享方式。

到2020年，增強(qiáng)分析將成為分析和BI、數(shù)據(jù)科學(xué)和ML平臺(tái)以及嵌入式分析的主要推動(dòng)力。隨著平臺(tái)功能的成熟，數(shù)據(jù)和分析領(lǐng)導(dǎo)者應(yīng)該計(jì)劃采用增強(qiáng)分析。

No.2 增強(qiáng)數(shù)據(jù)管理

增強(qiáng)數(shù)據(jù)管理(Augmented data management)利用ML功能和AI引擎來(lái)制定企業(yè)信息管理類別，包括數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)集成以及數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）自我配置和自我調(diào)整。

它使許多手動(dòng)任務(wù)自動(dòng)化，并允許技術(shù)水平較低的用戶使用數(shù)據(jù)更加自主。 它還允許高技能的技術(shù)資源專注于更高價(jià)值的任務(wù)。

增強(qiáng)數(shù)據(jù)管理將元數(shù)據(jù)從僅用于審計(jì)、沿襲和報(bào)告轉(zhuǎn)換為支持動(dòng)態(tài)系統(tǒng)。元數(shù)據(jù)正在從被動(dòng)變?yōu)橹鲃?dòng)，并成為所有AI/ML的主要驅(qū)動(dòng)。

到2022年底，通過(guò)添加ML和自動(dòng)化服務(wù)級(jí)別管理，手動(dòng)數(shù)據(jù)管理任務(wù)將減少45%。

No.3 持續(xù)型智能

到2022年，超過(guò)一半的主要新業(yè)務(wù)系統(tǒng)將集成使用實(shí)時(shí)上下文數(shù)據(jù)改進(jìn)決策的持續(xù)型智能(continuous intelligence)。

持續(xù)型智能是一種設(shè)計(jì)模式，在這種模式中，實(shí)時(shí)分析集成在業(yè)務(wù)操作中，處理當(dāng)前和歷史數(shù)據(jù)，以指定響應(yīng)事件的操作。它提供決策自動(dòng)化或決策支持。持續(xù)型智能利用多種技術(shù)，如增強(qiáng)分析、事件流處理、優(yōu)化、業(yè)務(wù)規(guī)則管理和ML。

薩拉姆女士說(shuō)：“持續(xù)型智能代表著數(shù)據(jù)和分析團(tuán)隊(duì)的工作發(fā)生了重大變化，對(duì)于分析和商業(yè)智能團(tuán)隊(duì)來(lái)說(shuō)，2019年幫助企業(yè)做出更智能的實(shí)時(shí)決策是一個(gè)巨大的挑戰(zhàn)，也是一個(gè)巨大的機(jī)遇。它可以被看作是運(yùn)營(yíng)商業(yè)智能的終極目標(biāo)?！?/p>

No.4 可解釋型AI

人工智能模型越來(lái)越多地被用于幫助和取代人類決策。然而，在某些情況下，企業(yè)必須證明這些模型是如何得出決策的。為了與用戶和涉眾建立信任，應(yīng)用程序領(lǐng)導(dǎo)者必須使這些模型更具有解釋性。

不幸的是，大多數(shù)這些高級(jí)人工智能模型都是復(fù)雜的黑匣子，無(wú)法解釋它們?yōu)槭裁磿?huì)得出特定的建議或決定。例如，在數(shù)據(jù)科學(xué)和ML平臺(tái)中，人工智能可以用自然語(yǔ)言自動(dòng)生成模型的準(zhǔn)確性、屬性、模型統(tǒng)計(jì)信息和特征的解釋。

No.5 圖

圖(graph)分析是一組分析技術(shù)，它允許探索感興趣的實(shí)體(如組織、人員和事務(wù))之間的關(guān)系。

到2022年，圖形處理和圖形DBMS的應(yīng)用將以每年100%的速度增長(zhǎng)，從而不斷加快數(shù)據(jù)準(zhǔn)備工作，使數(shù)據(jù)科學(xué)變得更加復(fù)雜和具有適應(yīng)性。

根據(jù)Gartner的說(shuō)法，圖數(shù)據(jù)存儲(chǔ)可以有效地建模、探索和查詢具有復(fù)雜數(shù)據(jù)豎井相互關(guān)系的數(shù)據(jù)，但是對(duì)專門技能的需求限制了它們的應(yīng)用。

由于需要在復(fù)雜數(shù)據(jù)中提出復(fù)雜問題，圖分析在未來(lái)幾年將會(huì)增長(zhǎng)，這在使用SQL查詢時(shí)并不總是切實(shí)可行的。

No.6 數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)結(jié)構(gòu)支持在分布式數(shù)據(jù)環(huán)境中的訪問和共享數(shù)據(jù)。它支持單一且一致的數(shù)據(jù)管理框架，允許通過(guò)其他孤立存儲(chǔ)的設(shè)計(jì)進(jìn)行無(wú)縫數(shù)據(jù)訪問和處理。

到2022年，定制的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)將主要作為靜態(tài)基礎(chǔ)設(shè)施部署，迫使組織進(jìn)入新的成本浪潮，為更動(dòng)態(tài)的數(shù)據(jù)網(wǎng)格方法完全重新設(shè)計(jì)。

No.7 NLP/會(huì)話分析

到2020年，50％的分析查詢將通過(guò)搜索，自然語(yǔ)言處理（NLP）或語(yǔ)音生成，或者將自動(dòng)生成。 分析復(fù)雜的數(shù)據(jù)組合并使組織中的每個(gè)人都可以訪問分析的需求將推動(dòng)其更廣泛的應(yīng)用，使分析工具像搜索界面或與虛擬助手的對(duì)話一樣簡(jiǎn)單。

No.8 商業(yè)化AI和ML

Gartner預(yù)測(cè)，到2022年，75%利用AI和ML技術(shù)的新終端用戶解決方案將使用商業(yè)化解決方案而不是開源平臺(tái)構(gòu)建。

商業(yè)供應(yīng)商現(xiàn)在已經(jīng)在開源生態(tài)系統(tǒng)中構(gòu)建了連接器，它們提供了擴(kuò)展AI和ML所需的企業(yè)功能，例如項(xiàng)目和模型管理、重用、透明度、數(shù)據(jù)沿襲以及開源技術(shù)缺乏的平臺(tái)凝聚力和集成。

No.9 區(qū)塊鏈

區(qū)塊鏈和分布式賬本技術(shù)的核心價(jià)值主張是在不受信任的參與者網(wǎng)絡(luò)中提供分散的信任。分析用例的潛在影響是顯著的，特別是那些利用參與者關(guān)系和交互的用例。

然而，四五種主要的區(qū)塊鏈技術(shù)要成為主流還需要幾年的時(shí)間。

在此之前，技術(shù)最終用戶將被迫集成由其主要客戶或網(wǎng)絡(luò)決定的區(qū)塊鏈技術(shù)和標(biāo)準(zhǔn)。這包括與現(xiàn)有數(shù)據(jù)和分析基礎(chǔ)設(shè)施的集成。整合的成本可能會(huì)超過(guò)任何潛在的優(yōu)勢(shì)。區(qū)塊鏈?zhǔn)且环N數(shù)據(jù)源，而不是數(shù)據(jù)庫(kù)，不會(huì)取代現(xiàn)有的數(shù)據(jù)管理技術(shù)。

No.10 持久型內(nèi)存服務(wù)

新的持久型內(nèi)存(Persistent Memory)技術(shù)將有助于降低采用支持內(nèi)存計(jì)算(IMC)的體系結(jié)構(gòu)的成本和復(fù)雜性。

持久型內(nèi)存是DRAM和NAND閃存之間的一種新的內(nèi)存層，可以為高性能工作負(fù)載提供高性價(jià)比的大容量?jī)?nèi)存。

它有潛力提高應(yīng)用程序的性能、可用性、啟動(dòng)時(shí)間、集群方法和安全實(shí)踐，同時(shí)控制成本。它還將通過(guò)減少對(duì)數(shù)據(jù)復(fù)制的需求，幫助組織降低應(yīng)用程序和數(shù)據(jù)架構(gòu)的復(fù)雜性。

范伯格說(shuō)：“數(shù)據(jù)量正在迅速增長(zhǎng)，將數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)化為價(jià)值的緊迫性也在以同樣快的速度增長(zhǎng)，新的服務(wù)器工作負(fù)載不僅要求更快的CPU性能，還要求更大的內(nèi)存和更快的存儲(chǔ)空間?！?/p>