在互聯(lián)網(wǎng)市場的頭部效應下,企業(yè)所面臨的競爭壓力越來越大,如何有效解決獲客成本高、用戶黏性低、變現(xiàn)能力弱等問題,正是越來越多的企業(yè)開始構(gòu)建大數(shù)據(jù)平臺的初衷。
但由于大數(shù)據(jù)解決方案所涉及的組件錯綜復雜、技術(shù)門檻較高,且初期投入的資源和后期的維護成本較大,十分考驗企業(yè)的大數(shù)據(jù)平臺組建和運維能力。因此,UCloud大數(shù)據(jù)團隊于近期上線了大數(shù)據(jù)智能平臺(UCloud Smart Data Platform,下文簡稱 USDP) ,旨在幫助企業(yè)快速搭建大數(shù)據(jù)分析處理平臺,并對大數(shù)據(jù)集群進行集中管理,從而降低企業(yè)的大數(shù)據(jù)開發(fā)、維護成本。
一站式大數(shù)據(jù)智能管理平臺
USDP是幫助企業(yè)構(gòu)建云端托管型的一站式大數(shù)據(jù)采集、存儲、分析、應用和運維的智能平臺。其產(chǎn)品架構(gòu)圖如下:
從上圖可以看出,USDP是構(gòu)建在UCloud公有云IaaS基礎(chǔ)資源之上,提供 Hadoop生態(tài)的服務系統(tǒng),如HDFS、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等眾多開源大數(shù)據(jù)服務組件,并對這些組件進行配置管理、監(jiān)控告警、故障診斷等智能化的運維管理,從而幫助企業(yè)快速構(gòu)建起大數(shù)據(jù)的分析處理能力。 用戶可通過 USDP 方便快速地部署大數(shù)據(jù)集群中的各類服務與組件,并集中式地運維這些組件。且在部署服務與組件的過程中,USDP 可以全自動化完成整個流程,大大降低了部署成本。
同時,USDP 中集成的實時監(jiān)控視圖與告警策略可以幫助運維人員及時獲取異常告警信息,快速定位和排查問題。
除此之外,USDP 高度集成了 Hadoop 生態(tài)中的服務與組件,并且全部基于 Apache 版本完成適配,無深度修改,因此用戶無需擔心服務組件使用過程中造成的 API 不兼容問題,用戶業(yè)務也無需擔心被非 Apache 開源協(xié)議之外的服務框架所綁定。
輕量級、自動化運維的大數(shù)據(jù)“管家”
USDP 作為純國產(chǎn)化、UCloud自研的大數(shù)據(jù)管理服務,可以實現(xiàn)云上、云下交互的便捷統(tǒng)一,其具體特點如下:
全面的組件支持
基于開放式的管理架構(gòu),USDP 集成了 30 余款開源的大數(shù)據(jù)組件,涵蓋數(shù)據(jù)集成、數(shù)據(jù)存儲、計算引擎、任務調(diào)度、權(quán)限管理等大數(shù)據(jù)處理的各個環(huán)節(jié),全面性為業(yè)界之最。企業(yè)可以根據(jù)自身業(yè)務特點和需求,從中選擇相應的組件來搭建自己的大數(shù)據(jù)處理平臺。
完善的監(jiān)控告警機制
源自多年的大數(shù)據(jù)運維經(jīng)驗積淀,USDP 為每款組件預置了完善的監(jiān)控和告警模板,豐富的監(jiān)控指標和靈活的告警方式,幫助用戶及時掌握各個組件的運行狀況,進行必要的維護和優(yōu)化。與此同時,智能化的故障診斷工具和專業(yè)的技術(shù)支持團隊,為大數(shù)據(jù)集群的穩(wěn)定運行保駕護航。
可視化工作流UDS
UDS(UCloud Data Studio)是一款UCloud自研的輕量級、分布式、易擴展的可視化DAG工作流任務調(diào)度系統(tǒng)。通過拖拽式的工作流開發(fā) IDE,簡單 Web 式拖拽操作來完成整個大數(shù)據(jù)工作流的任務開發(fā)。內(nèi)置了豐富的處理器,多樣化的任務支持:Shell、Python、Hive、Spark、MR、SQL、子流程等。
UDS提供可視化的流程定義能力,可對大量異構(gòu)數(shù)據(jù)源提供高速穩(wěn)定的數(shù)據(jù)集成能力,并在同步過程中實現(xiàn)對數(shù)據(jù)的ETL操作。
安全穩(wěn)定
公有云USDP 的底層資源為用戶所獨享,集群位于獨立的虛擬私有網(wǎng)絡中,實現(xiàn)了有效的安全隔離。同時,USDP 集成的各個組件編譯自 Apache 社區(qū)穩(wěn)定版本,經(jīng)過了嚴格的兼容性測試和壓力測試,關(guān)鍵性組件都支持高可用特性,確保集群穩(wěn)定可靠運行。
彈性易用
針對大數(shù)據(jù)應用場景,公有云USDP 提供了豐富多樣的機型(大數(shù)據(jù)物理機、普通云主機、快杰云主機等)供用戶選擇,并結(jié)合公有云的彈性伸縮能力,有效控制實際使用成本。向?qū)降牟僮髁鞒毯屯晟频膱鼍鞍咐?,幫助用戶輕松上手。
支持私有化部署
USDP除了與UCloud公有云IaaS集成,還可以作為獨立的大數(shù)據(jù)組件管理平臺部署在私有化的數(shù)據(jù)中心,并兼容虛擬機、物理服務器環(huán)境。為私有化部署的客戶提供與公有云體驗一致的大數(shù)據(jù)平臺服務。 UCloud還提供基于USDP的軟硬一體交付方案,已提前預裝完成USDP服務,實現(xiàn)用戶插電即用的大數(shù)據(jù)平臺管理服務。
典型應用場景
1、數(shù)據(jù)倉庫目前國內(nèi)最常用的數(shù)倉模型為維度數(shù)倉,就是按照事實表、維度表來構(gòu)建數(shù)據(jù)倉庫、數(shù)據(jù)集市。在該體系中,維度是描述事實的角度,如日期、客戶、供應商等,事實是要度量的指標,如客戶數(shù)、銷售額等。通過 USDP,用戶可以部署構(gòu)建維度數(shù)倉所需的一切服務,幫助企業(yè)快速構(gòu)建數(shù)據(jù)中臺。 2、機器學習在機器學習領(lǐng)域,對運算往往有大量需求,通過 USDP 中的Spark、Flink 等分布式運算框架,搭配官方算法或自研算法,即可事半功倍的進行機器學習開發(fā)。同時,在深度學習領(lǐng)域,建模所需的大量數(shù)據(jù),也可以存儲于 HDFS,從而真正實現(xiàn)一站式開發(fā)。 3、實時計算可以利用USDP中的Kafka、Flink、Spark Streaming對數(shù)據(jù)進行實時處理,來滿足實時風控、實時推薦、實時日志分析、實時點擊等場景需求。
總結(jié)
大數(shù)據(jù)時代,數(shù)據(jù)作為企業(yè)的核心生產(chǎn)要素,其隱藏的商業(yè)價值離不開大數(shù)據(jù)技術(shù)的深度挖掘,而USDP的推出正是為了解決目前企業(yè)構(gòu)建大數(shù)據(jù)解決方案所面臨的高成本、高技術(shù)門檻等問題,助力更多企業(yè)快速構(gòu)建大數(shù)據(jù)服務,充分釋放數(shù)據(jù)生產(chǎn)力的商業(yè)價值。
責任編輯:xj
原文標題:這款大數(shù)據(jù)智能服務平臺火了!全自動化配置30+款開源大數(shù)據(jù)組件
文章出處:【微信公眾號:人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
智能
+關(guān)注
關(guān)注
8文章
1692瀏覽量
117243 -
自動化
+關(guān)注
關(guān)注
28文章
5386瀏覽量
78633 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8805瀏覽量
136992
原文標題:這款大數(shù)據(jù)智能服務平臺火了!全自動化配置30+款開源大數(shù)據(jù)組件
文章出處:【微信號:TheBigData1024,微信公眾號:人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論