浪潮云海OS大數(shù)據(jù)整合升級，發(fā)揮云計算與大數(shù)據(jù)融合優(yōu)勢

當(dāng)今世界，網(wǎng)絡(luò)信息技術(shù)日新月異，大數(shù)據(jù)等新一代信息技術(shù)的出現(xiàn)，推動智慧產(chǎn)業(yè)、智能產(chǎn)業(yè)、各類大腦等應(yīng)運(yùn)而生，推動社會從信息科技時代進(jìn)入智能科技時代。

政策與需求共推大數(shù)據(jù)應(yīng)用向前發(fā)展，云平臺升級迫在眉睫

近年來，我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展取得了顯著的成效：

一是發(fā)展環(huán)境持續(xù)優(yōu)化。國家層面《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》等文件，加快落地實(shí)施國家大數(shù)據(jù)綜合實(shí)驗區(qū)公共信息資源開放，有關(guān)大數(shù)據(jù)的相關(guān)政策和文件。多層次協(xié)同推進(jìn)大數(shù)據(jù)發(fā)展的管理，應(yīng)該說已經(jīng)基本形成。

二是產(chǎn)業(yè)生產(chǎn)加速，技術(shù)創(chuàng)新不斷取得新突破。涌現(xiàn)出一批有帶動力和影響力的龍頭企業(yè)，以及眾多創(chuàng)新特色輸出的中小企業(yè)，上下游企業(yè)密切互動的產(chǎn)業(yè)格局初步形成。

三是大數(shù)據(jù)應(yīng)用已經(jīng)從互聯(lián)網(wǎng)營銷、廣告等領(lǐng)域逐步向電信、交通、金融、醫(yī)療、教育、政務(wù)等廣泛滲透，有戰(zhàn)略性的大數(shù)據(jù)典型應(yīng)用的案例不斷涌現(xiàn)。大數(shù)據(jù)與各行各業(yè)的深度融合是新動能在加快的推進(jìn)，是全社會應(yīng)用大數(shù)據(jù)的氛圍越加濃厚。

大數(shù)據(jù)產(chǎn)業(yè)的迅速發(fā)展，使得各行各業(yè)的企事業(yè)單位的業(yè)務(wù)產(chǎn)生大量數(shù)據(jù)。傳統(tǒng)的云平臺通常采用IaaS-PaaS-SaaS(亦即基礎(chǔ)設(shè)施即服務(wù)-平臺即服務(wù)-應(yīng)用即服務(wù))三層解耦方式部署，不同層、不同應(yīng)用、不同租戶的數(shù)據(jù)的整個生命周期都是孤立的，這種方式在一定程度上存在與業(yè)務(wù)關(guān)聯(lián)性不足、數(shù)據(jù)管理混亂、無法做到數(shù)據(jù)共享及隔離等問題，隨著平臺的擴(kuò)展，數(shù)據(jù)會呈現(xiàn)指數(shù)級上升，而運(yùn)維、運(yùn)營難度亦陡然增加，企業(yè)云與大數(shù)據(jù)融合和治理迫在眉睫。

浪潮云海OS升級大數(shù)據(jù)管理能力，為IT轉(zhuǎn)型上好“四保險”

浪潮將云平臺與大數(shù)據(jù)深度融合，增加大數(shù)據(jù)服務(wù)層(DaaS)，實(shí)現(xiàn)平臺內(nèi)部自下而上所有數(shù)據(jù)的整合和治理，IaaS、PaaS、DaaS、SaaS統(tǒng)一權(quán)限管理，并以統(tǒng)一目錄方式對租戶提供服務(wù)。

浪潮云數(shù)融合方案部署架構(gòu)圖

生產(chǎn)環(huán)境注重業(yè)務(wù)連續(xù)、平臺穩(wěn)定及數(shù)據(jù)安全性，考慮到大數(shù)據(jù)處理效率、HDFS多副本導(dǎo)致的冗余消耗及大數(shù)據(jù)應(yīng)用的快速開發(fā)部署等諸多因素，浪潮采用大數(shù)據(jù)平臺物理機(jī)部署、大數(shù)據(jù)應(yīng)用云上部署、“云上”應(yīng)用調(diào)用“云下”大數(shù)據(jù)平臺能力，并通過統(tǒng)一云管平臺實(shí)現(xiàn)虛擬集群及大數(shù)據(jù)集群的統(tǒng)一管理(智能監(jiān)控，運(yùn)維自動化、計量計費(fèi))、用戶統(tǒng)一認(rèn)證并提供統(tǒng)一的對外服務(wù)目錄，實(shí)現(xiàn)了高效大數(shù)據(jù)處理、合理數(shù)據(jù)冗余、快速的應(yīng)用部署、以及基于RBAC權(quán)限訪問和以VDC維度的資源管理，最大限度發(fā)揮云計算與大數(shù)據(jù)融合的優(yōu)勢。

在IaaS層，使用浪潮云海平臺InCloud OpenStack及大數(shù)據(jù)平臺InCloud Insight實(shí)現(xiàn)物理設(shè)備(服務(wù)器、存儲、網(wǎng)絡(luò)等)云化，并形成虛擬化資源池、裸金屬資源池及大數(shù)據(jù)資源池，向上層提供計算虛擬化、存儲虛擬化(塊存儲服務(wù)、對象存儲服務(wù)、文件存儲服務(wù))、網(wǎng)絡(luò)虛擬化及大數(shù)據(jù)服務(wù)。

在PaaS層，通過基礎(chǔ)環(huán)境適配器(Cloud Provider Interface)，浪潮彈性分布式操作系統(tǒng)(IOP)能夠直接調(diào)用IaaS能力，并向上提供基礎(chǔ)資源服務(wù)、計算服務(wù)、數(shù)據(jù)/大數(shù)據(jù)服務(wù)、應(yīng)用中間件服務(wù)、開發(fā)支撐服務(wù)及多媒體處理服務(wù)等六大類功能。其中基礎(chǔ)資源服務(wù)包含彈性云主機(jī)服務(wù)、對象存儲服務(wù)、負(fù)載均衡服務(wù)、網(wǎng)絡(luò)服務(wù)及VDC服務(wù)。計算服務(wù)則利用大數(shù)據(jù)能力提供離線計算服務(wù)(用于批量計算、指標(biāo)匯總計算、數(shù)據(jù)挖掘等場景)、實(shí)時計算服務(wù)(用于TB級以上數(shù)據(jù)實(shí)時讀寫和數(shù)據(jù)實(shí)時分析等場景)、流式計算服務(wù)(用于實(shí)時布控、實(shí)時監(jiān)控預(yù)警、實(shí)時統(tǒng)計等實(shí)時性要求非常高的場景)、內(nèi)存計算服務(wù)(用于批處理，SQL查詢，流式處理以及機(jī)器學(xué)習(xí)等)，全方位支撐上層的數(shù)據(jù)治理和應(yīng)用。

浪潮云數(shù)融合方案IaaS&PaaS架構(gòu)圖

在DaaS層，由數(shù)據(jù)集成、數(shù)據(jù)治理、數(shù)據(jù)處理、數(shù)據(jù)服務(wù)組成，覆蓋數(shù)據(jù)從產(chǎn)生、傳輸、存儲、初加工、細(xì)加工到應(yīng)用及銷毀的全生命周期。以數(shù)據(jù)資源為核心的理念，充分利用云平臺基礎(chǔ)設(shè)施與云平臺提供的各類計算服務(wù)，對業(yè)務(wù)各種來源的各種類別數(shù)據(jù)進(jìn)行整合匯集、存儲組織、分析處理以及標(biāo)準(zhǔn)化管理，并以服務(wù)、接口等形式提供給上層各類應(yīng)用。在數(shù)據(jù)集成階段，能夠接受不同數(shù)據(jù)源(如內(nèi)網(wǎng)數(shù)據(jù)庫、行業(yè)文件庫、應(yīng)用系統(tǒng)日志等)和不同數(shù)據(jù)類型(結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)等)，并提供集成工具及數(shù)據(jù)格式轉(zhuǎn)換工具實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，上層應(yīng)用可無差別地調(diào)用各類數(shù)據(jù)。數(shù)據(jù)集成之后會進(jìn)入數(shù)據(jù)治理環(huán)節(jié)，實(shí)現(xiàn)數(shù)據(jù)類別規(guī)劃(定義不同安全要求等級數(shù)據(jù)不同的訪問權(quán)限及方式)、數(shù)據(jù)質(zhì)量管理(劃分?jǐn)?shù)據(jù)質(zhì)量等級及存儲方式)、數(shù)據(jù)倉庫(可根據(jù)業(yè)務(wù)維度劃分)及數(shù)據(jù)服務(wù)總線(提供數(shù)據(jù)訪問控制)。而數(shù)據(jù)處理層則負(fù)責(zé)提供面向業(yè)務(wù)的各類功能引擎(檔案引擎、索引引擎、對比引擎、分析引擎及計算引擎等)及相應(yīng)的調(diào)度服務(wù)，上層應(yīng)用可通過提交任務(wù)形式調(diào)用以上引擎服務(wù)，輕松實(shí)現(xiàn)數(shù)據(jù)的并發(fā)異步調(diào)用。數(shù)據(jù)是企業(yè)的重要資產(chǎn)，為最大化提高數(shù)據(jù)的價值，平臺對外提供數(shù)據(jù)資產(chǎn)運(yùn)營中心，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)超市、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)共享交換機(jī)數(shù)據(jù)價值評估。上述所有數(shù)據(jù)加工環(huán)節(jié)，均以RPC或API接口方式對應(yīng)用開放服務(wù)，以專業(yè)的數(shù)據(jù)服務(wù)使得應(yīng)用層能更加聚焦業(yè)務(wù)的孵化和加速。

浪潮云數(shù)融合方案DaaS架構(gòu)圖

在SaaS層，分為兩方面應(yīng)用：基礎(chǔ)應(yīng)用(郵件、辦公應(yīng)用、日志系統(tǒng)等)和業(yè)務(wù)自定義應(yīng)用。通過調(diào)用IaaS、PaaS、DaaS層服務(wù)接口，應(yīng)用開發(fā)商可快速完成高可用、高并發(fā)的業(yè)務(wù)應(yīng)用的開發(fā)和部署。

通過這四層，浪潮云數(shù)融合方案能夠提供全方位的IaaS-PaaS-Daas-SaaS云化能力，亦提供了計算能力強(qiáng)大，覆蓋離線計算、在線計算、內(nèi)存計算、流計算等典型大數(shù)據(jù)應(yīng)用場景的大數(shù)據(jù)平臺，同時特有的云數(shù)融合方案，實(shí)現(xiàn)數(shù)據(jù)不同層、不同應(yīng)用、不同租戶從數(shù)據(jù)采集-數(shù)據(jù)集成-數(shù)據(jù)治理-數(shù)據(jù)處理全數(shù)據(jù)生命周期的管理，讓客戶在云數(shù)時代乘風(fēng)破浪，永立潮頭。