在搭建大數(shù)據(jù)分析平臺(tái)之前,要先明確業(yè)務(wù)需求場(chǎng)景以及用戶的需求,通過大數(shù)據(jù)分析平臺(tái),想要得到哪些有價(jià)值的信息,需要接入的數(shù)據(jù)有哪些,明確基于場(chǎng)景業(yè)務(wù)需求的大數(shù)據(jù)平臺(tái)要具備的基本功能,來決定平臺(tái)搭建過程中使用的大數(shù)據(jù)處理工具和框架。
大數(shù)據(jù)分析平臺(tái)自下而上一般分為三個(gè)部分,分別為:數(shù)據(jù)層、大數(shù)據(jù)采集與存儲(chǔ)、數(shù)據(jù)分析及展示。
(1)數(shù)據(jù)層,針對(duì)不同系統(tǒng)進(jìn)行分析,制定系統(tǒng)數(shù)據(jù)采集范圍與目標(biāo),收集各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)生的各類數(shù)據(jù),將各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合,為大數(shù)據(jù)的分析提供支撐。
(2)大數(shù)據(jù)采集與存儲(chǔ)旨在為各類異構(gòu)數(shù)據(jù)研制適配接口,與其他各系統(tǒng)對(duì)接,并為數(shù)據(jù)提供適配、轉(zhuǎn)換、存儲(chǔ)等基本管理功能,基本步驟包括:
數(shù)據(jù)抽?。横槍?duì)大數(shù)據(jù)分析平臺(tái)需要采集的各類數(shù)據(jù),分別有針對(duì)性地研制適配接口。對(duì)于已有的信息系統(tǒng),研發(fā)對(duì)應(yīng)的接口模塊與各信息系統(tǒng)對(duì)接,不能實(shí)現(xiàn)數(shù)據(jù)共享接口的系統(tǒng)通過ETL工具進(jìn)行數(shù)據(jù)采集,支持多種類型數(shù)據(jù)庫,按照相應(yīng)規(guī)范對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換,從而實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)管理。
數(shù)據(jù)預(yù)處理:為使大數(shù)據(jù)分析平臺(tái)能更方便對(duì)數(shù)據(jù)進(jìn)行處理,同時(shí)為了使得數(shù)據(jù)的存儲(chǔ)機(jī)制擴(kuò)展性、容錯(cuò)性更好,需要把數(shù)據(jù)按照相應(yīng)關(guān)聯(lián)性進(jìn)行組合,并將數(shù)據(jù)轉(zhuǎn)化為文本格式,作為文件存儲(chǔ)下來。
數(shù)據(jù)存儲(chǔ):為了提升數(shù)據(jù)存儲(chǔ)的擴(kuò)展性和容錯(cuò)性,采用主流的大數(shù)據(jù)框架對(duì)各類數(shù)據(jù)統(tǒng)一進(jìn)行文本化存儲(chǔ),數(shù)據(jù)按相應(yīng)規(guī)則存儲(chǔ),實(shí)現(xiàn)每日保存一套完整數(shù)據(jù)文件集,形成數(shù)據(jù)倉(cāng)庫。
(3)數(shù)據(jù)分析和展示是核心業(yè)務(wù)層,通過數(shù)據(jù)報(bào)表工具,根據(jù)需求制定多樣的,針對(duì)性的數(shù)據(jù)報(bào)表。針對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理、算法運(yùn)行、結(jié)果轉(zhuǎn)換操作,將結(jié)果保存為報(bào)表文件,每日形成的報(bào)表文件集。報(bào)表展現(xiàn)系統(tǒng)將生成的報(bào)表文件以可視化方式進(jìn)行展現(xiàn)。
系統(tǒng)架構(gòu)應(yīng)高安全性、易擴(kuò)展性,能夠支持各類主流開發(fā)語言,并提供豐富的接口。同時(shí)能夠支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和應(yīng)用。通過建立物聯(lián)網(wǎng)應(yīng)用,實(shí)現(xiàn)對(duì)物品、人員、安全等各方面管理的強(qiáng)大支撐,提升管理質(zhì)量的同時(shí)積累大量管理數(shù)據(jù)和行為數(shù)據(jù)。
大數(shù)據(jù)分析平臺(tái)是企業(yè)一體化的大數(shù)據(jù)分析與應(yīng)用平臺(tái),為企業(yè)提供大數(shù)據(jù)分析與決策。
建設(shè)大數(shù)據(jù)分析平臺(tái)以安全、可擴(kuò)展、靈活性為原則,把某些有業(yè)務(wù)聯(lián)系的單圖組織成一個(gè)數(shù)據(jù)可視化的模塊,用來反映業(yè)務(wù)各方面的數(shù)據(jù)情況,它從多種數(shù)據(jù)源獲取數(shù)據(jù),實(shí)現(xiàn)支持多維度篩選的交互式界面。
大數(shù)據(jù)分析平臺(tái)由哪些部分組成.中琛魔方大數(shù)據(jù)分析平臺(tái)表示大數(shù)據(jù)分析處理平臺(tái)(zcmorefun.com)就是整合當(dāng)前主流的各種具有不同側(cè)重點(diǎn)的大數(shù)據(jù)處理分析框架和工具,實(shí)現(xiàn)對(duì)數(shù)據(jù)的挖掘和分析。一個(gè)大數(shù)據(jù)分析平臺(tái)涉及到的組件眾多,如何將其有機(jī)地結(jié)合起來,完成海量數(shù)據(jù)的挖掘是一項(xiàng)復(fù)雜的工作。
責(zé)任編輯:gt
-
接口
+關(guān)注
關(guān)注
33文章
8450瀏覽量
150726 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8855瀏覽量
137215
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論