為什么將AI注入到IT運(yùn)營中比數(shù)據(jù)本身更多的是數(shù)據(jù)

我與之交談的幾乎每個(gè)CIO都大膽地宣稱他們的企業(yè)是“數(shù)據(jù)驅(qū)動的企業(yè)”。但是，畢馬威會計(jì)師事務(wù)所（KPMG）最近進(jìn)行的 全球CEO前景 調(diào)查卻截然不同：全球67%的CEO（美國的這一數(shù)字躍升至78%）表明，他們忽略了由CIO /他們提供的數(shù)據(jù)驅(qū)動的分析和預(yù)測模型IT團(tuán)隊(duì)，因?yàn)檫@與他們自己的經(jīng)驗(yàn)相矛盾;他們根據(jù)自己的直覺做出了重大的企業(yè)決策。

忽略了數(shù)據(jù)驅(qū)動的見解而遵循直覺的CEO

雖然結(jié)果有些令人震驚，但可以很容易地解釋它。首先，盡管企業(yè)生產(chǎn)的數(shù)據(jù)量足夠多，但是數(shù)據(jù)仍然在業(yè)務(wù)單元，域，平臺和實(shí)現(xiàn)（例如云與私有數(shù)據(jù)中心）之間非常分散。根據(jù)Forrester的說法，多達(dá)73%的公司數(shù)據(jù)未用于分析和見解。難怪首席執(zhí)行官僅使用總數(shù)據(jù)的27%生成的模型就獲得了可怕的結(jié)果！其次，大多數(shù)當(dāng)前的預(yù)測模型僅使用歷史數(shù)據(jù)，而不使用流（實(shí)時(shí)）數(shù)據(jù)。這兩個(gè)重要因素導(dǎo)致預(yù)測的準(zhǔn)確性不高。首席執(zhí)行官如果不信任模型，就無法做出決策，因?yàn)樗麄儤I(yè)務(wù)的成敗取決于他們做出的決策。

更多數(shù)據(jù)可以帶來更好的預(yù)測

盡管是IT運(yùn)營使其他企業(yè)AI計(jì)劃保持平穩(wěn)運(yùn)行，但實(shí)施AI以改善其自身的運(yùn)營速度卻很慢。原因之一是上述數(shù)據(jù)零散。當(dāng)向AI / ML模型提供部分?jǐn)?shù)據(jù)時(shí)，您只會獲得企業(yè)的部分視圖。另一個(gè)主要原因是因?yàn)楫?dāng)前大多數(shù)AI / ML實(shí)施都是為了創(chuàng)新，并且通常由BU資助。傳統(tǒng)上，企業(yè)將IT視為成本中心，因此他們不愿意花錢來使用AI來改善運(yùn)營。但是，隨著大量的數(shù)據(jù)，以及當(dāng)前的大流行病產(chǎn)生了更多的未連接的遠(yuǎn)程數(shù)據(jù)，這種感覺在開始淹沒Ops團(tuán)隊(duì)時(shí)發(fā)生了變化。IT運(yùn)營團(tuán)隊(duì)正在達(dá)到一個(gè)臨界點(diǎn)，要處理的數(shù)據(jù)過多，這是AI的理想方案。這是AI和ML的最佳選擇。人工智能在大量數(shù)據(jù)上蓬勃發(fā)展。實(shí)際上，向AI算法饋送的數(shù)據(jù)越多，模型就越好。

傳統(tǒng)上，IT運(yùn)營團(tuán)隊(duì)多年來一直監(jiān)視IT基礎(chǔ)結(jié)構(gòu)監(jiān)視（ITIM）和網(wǎng)絡(luò)性能監(jiān)視與診斷（NPMD）層。在過去的十年中，應(yīng)用程序性能管理（APM）幫助提高了每個(gè)應(yīng)用程序的可見性。但是，即使所有這些系統(tǒng)都表明它們正常工作，客戶仍會根據(jù)位置，連接類型（移動/互聯(lián)網(wǎng)），所使用的緩存/ CDN提供程序的類型等而遇到問題?，F(xiàn)代應(yīng)用程序及其組件的復(fù)雜性加載到客戶視圖中會使其變得非常復(fù)雜。數(shù)字體驗(yàn)監(jiān)視（DEM）的概念已獲得可見性，可以專門監(jiān)視，分析和優(yōu)化客戶體驗(yàn)。但是，它們更像是監(jiān)視工具，而不是診斷工具。

AIOps（IT運(yùn)營中的人工智能）解決方案可以幫助解決此問題。一個(gè)好的AIOps解決方案應(yīng)該能夠從多個(gè)來源獲取數(shù)據(jù)，消除噪聲，關(guān)聯(lián)事件序列并基于歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的組合產(chǎn)生可行的見解。

數(shù)據(jù)采集

可以說，這是最重要的一步。不僅需要將歷史數(shù)據(jù)饋送給AI進(jìn)行模型創(chuàng)建，而且還需要將實(shí)時(shí)數(shù)據(jù)饋給AI進(jìn)行推理和更新模型。僅像過去那樣收集日志或SNMP并不能提供企業(yè)的全面情況。收集盡可能多的信息，包括事件，日志，時(shí)間序列數(shù)據(jù)，應(yīng)用程序數(shù)據(jù)，性能數(shù)據(jù)，利用率數(shù)據(jù)等。新的基于事件的范式轉(zhuǎn)移到發(fā)布/訂閱或基于事件的消息傳遞。盡管這些消息非常重要，但它們對于收集實(shí)時(shí)數(shù)據(jù)以提供企業(yè)的完整視圖并做出準(zhǔn)確的預(yù)測絕對至關(guān)重要。大多數(shù)基于云的系統(tǒng)，無論是基于容器的還是基于虛擬機(jī)的，都通過API提供大量信息。

收集結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。盡管現(xiàn)有的BI和分析系統(tǒng)在處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)遇到困難，但AI還是喜歡它。它可以解析幾乎所有內(nèi)容，包括音頻，視頻，文本文件，圖像，配置文件，文檔，PDF文件等。

最后，大多數(shù)團(tuán)隊(duì)忘記將配置記錄，變更管理系統(tǒng)，CMBD等作為等式的一部分。這對于每天有時(shí)會推動多個(gè)發(fā)布周期的敏捷團(tuán)隊(duì)尤其重要。除非IT運(yùn)營團(tuán)隊(duì)意識到最近的變化，否則他們將浪費(fèi)大量時(shí)間試圖找出問題的根本原因。

數(shù)據(jù)質(zhì)量和數(shù)據(jù)攝取

AI存在數(shù)據(jù)質(zhì)量問題。創(chuàng)建AI / ML模型時(shí)，“垃圾填埋，垃圾填埋”是非常正確的。您的算法有多好或數(shù)據(jù)科學(xué)家有多好都無關(guān)緊要。如果您沒有提供足夠的質(zhì)量數(shù)據(jù)，那么您將一無所獲。當(dāng)企業(yè)收集大量數(shù)據(jù)時(shí)，它仍然是不完整，不正確和/或不一致的。您還需要收集相鄰和相關(guān)的數(shù)據(jù)。您可能會認(rèn)為它們無關(guān)緊要，但是對于AI使用看似無關(guān)的數(shù)據(jù)所能找到的東西，您會感到驚訝。一個(gè)例子是，當(dāng)NASA衛(wèi)星破裂時(shí)，IBM的AI工程師和NASA科學(xué)家找到了一種方法，可以利用太陽光以98%的準(zhǔn)確度來計(jì)算紫外線強(qiáng)度。我最近寫了一篇關(guān)于此的文章，可以在這里看到。

如果您與數(shù)據(jù)科學(xué)家交談，他們會告訴您他們花了多少時(shí)間準(zhǔn)備數(shù)據(jù)。他們多達(dá)80%的時(shí)間用于準(zhǔn)備數(shù)據(jù)，而不是分析數(shù)據(jù)或創(chuàng)建和微調(diào)模型。

數(shù)據(jù)分類和標(biāo)簽

數(shù)據(jù)需要正確分類，分類和標(biāo)記，以便AI / ML從中學(xué)習(xí)。對于監(jiān)督學(xué)習(xí)模型尤其如此。在訓(xùn)練，驗(yàn)證和調(diào)整模型之前，這是重要的一步。標(biāo)簽的準(zhǔn)確性和質(zhì)量是最重要的兩件事。準(zhǔn)確性衡量的是標(biāo)簽與真實(shí)情況之間的接近程度，或與您的企業(yè)事實(shí)和/或?qū)嶋H條件匹配的程度。質(zhì)量與用于模型的整個(gè)數(shù)據(jù)集的標(biāo)注準(zhǔn)確性有關(guān)。當(dāng)您結(jié)合使用自動，外包和內(nèi)部標(biāo)簽工作時(shí)，尤其如此。所有組都會在整個(gè)數(shù)據(jù)集中一致地標(biāo)記嗎？

數(shù)據(jù)清理

如果使用偏差數(shù)據(jù)訓(xùn)練AI模型，則無疑會產(chǎn)生偏差模型。我寫了一篇有關(guān)如何避免這種情況并使您的數(shù)據(jù)失偏的文章。原始數(shù)據(jù)可能包含隱性偏見信息，例如種族，性別，出身，政治，社會或其他意識形態(tài)偏見。消除它們的唯一方法是分析不平等并在創(chuàng)建模型之前對其進(jìn)行修復(fù)。如果不從數(shù)據(jù)中消除歧視性做法，該模型將傾向于產(chǎn)生有偏見的結(jié)果。

僅當(dāng)數(shù)據(jù)來自經(jīng)驗(yàn)證，權(quán)威，經(jīng)過驗(yàn)證和可靠的來源時(shí)，才應(yīng)包括在內(nèi)。來自不可靠來源的數(shù)據(jù)應(yīng)該完全消除，或者在輸入模型時(shí)應(yīng)給予較低的置信度。另外，通過控制分類精度，可以以最小的增量成本來大大減少辨別力。這種數(shù)據(jù)預(yù)處理優(yōu)化應(yīng)集中在控制區(qū)分，限制數(shù)據(jù)集中的失真和保留實(shí)用程序上。

資料儲存庫

考慮到數(shù)據(jù)的數(shù)量，速度和種類，用于數(shù)據(jù)存儲和數(shù)據(jù)管理的傳統(tǒng)現(xiàn)場解決方案不適用于數(shù)字本機(jī)解決方案。許多公司已采用數(shù)據(jù)湖解決方案來解決此問題。盡管單個(gè)集中的數(shù)據(jù)源可以提供幫助，但需要對其進(jìn)行適當(dāng)?shù)陌踩Ｗo(hù)，管理和定期更新。它應(yīng)該能夠無縫處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

結(jié)論

人工智能需要大量數(shù)據(jù)。正如我最喜歡的《短路》中的角色Johnny V（基于AI的機(jī)器人）說：“我需要更多的輸入……”。如果您的高管要基于此做出重大的企業(yè)決策，請確保為AI提供正確數(shù)量和質(zhì)量的數(shù)據(jù)。如果沒有，他們將忽略您的模型輸出/建議并做出自己的決定，從而最大程度地降低您的價(jià)值，并最終使您獲得數(shù)字化和改善業(yè)務(wù)所需的資金。