容器為Cloudera Data Platform帶來了哪些方面的優(yōu)勢

Cloudera是2008年成立的大數(shù)據(jù)分析公司，在許多人還不知道大數(shù)據(jù)和云計算的概念的時候，Cloudera就已經(jīng)開始提供基于開源Hadoop的企業(yè)大數(shù)據(jù)服務(wù)了。2018年，在新的發(fā)展形勢下，Cloudera與同樣基于Hadoop的開源大數(shù)據(jù)公司Hortonworks宣布合并，開源大數(shù)據(jù)服務(wù)市場變天了。

近兩年時間以來，Cloudera和Hortonworks在不斷融合，也樹立了要成為成為一家企業(yè)數(shù)據(jù)云公司的新定位，兩條產(chǎn)品線在不斷借鑒和打磨中迎來了全新一代產(chǎn)品，Cloudera Data Platform，簡稱CDP，在產(chǎn)品融合中，Cloudera使用了容器技術(shù)，讓大數(shù)據(jù)架構(gòu)變得非常現(xiàn)代化，容器化技術(shù)的加入，為Cloudera的新品帶來了諸多方面的優(yōu)勢。

Cloudera CDP，合二為一的企業(yè)數(shù)據(jù)平臺

Cloudera大中華區(qū)總經(jīng)理徐晉在介紹CDP時說，它結(jié)合了Cloudera原來的CDH跟Hortonworks原來的HDP，并且選取兩個產(chǎn)品當(dāng)中最精華的部分融為一體，它被稱之為Cloudera Runtime，它集成了Apache開源社區(qū)將近30多個開源項目，經(jīng)過研發(fā)測試、整合，最后提供一個可靠的基礎(chǔ)的大數(shù)據(jù)運行環(huán)境。

基于這樣一個平臺，Cloudera可提供六方面的能力。

第一個是Data Hub的數(shù)據(jù)接入能力，它可以提供一個用來集中存放數(shù)據(jù)、管理數(shù)據(jù)的能力。第二個是Data Flow & Streaming的數(shù)據(jù)收集傳輸能力，CDP有一系列實時數(shù)據(jù)處理方案，常見比如有Apache Kafka。

第三塊是Cloudera Data Engineering的批處理能力，顧名思義主要就是用來做批量數(shù)據(jù)處理。

第四塊是Cloudera Data Warehouse的數(shù)據(jù)倉庫服務(wù)，它可以替換原有的傳統(tǒng)數(shù)據(jù)倉庫，類似于一些在銀行等領(lǐng)域經(jīng)常可以看到的MPP類型的數(shù)據(jù)倉庫。

第五塊是Operational Database，是包括Hbase在內(nèi)的一些實時的非結(jié)構(gòu)化數(shù)據(jù)庫，能夠提供互聯(lián)網(wǎng)級別的對外服務(wù)能力。

最后一塊是機(jī)器學(xué)習(xí)平臺，將AI能力賦能給用戶，幫助企業(yè)將AI在企業(yè)內(nèi)部里面真正的推廣開來，讓企業(yè)作出基于數(shù)據(jù)驅(qū)動的決策。

在六大核心能力之上，CDP還有一個獨特的數(shù)據(jù)管理層——SDX，即共享數(shù)據(jù)體驗，在SDX的幫助下，所有存放在Cloudera平臺上的數(shù)據(jù)，無論是在做批量處理，還是做報表，還是用于機(jī)器學(xué)習(xí)，所有數(shù)據(jù)的使用都會提供統(tǒng)一的數(shù)據(jù)管理、統(tǒng)一的數(shù)據(jù)目錄、統(tǒng)一數(shù)據(jù)的安全管控，提供同一套數(shù)據(jù)治理控制的機(jī)制。

Cloudera CDP優(yōu)化了使用體驗，首先它上手非常簡單，可以像使用公有云服務(wù)一樣使用該平臺，通過按紐配置就能部署上線應(yīng)用，值得一提的是，它的一些用戶界面是面向業(yè)務(wù)部門來設(shè)計的，非常界面友好，甚至業(yè)務(wù)部門可以做自主服務(wù)。

Cloudera CDP推出了私有云版本和公有云PaaS服務(wù)兩種形式，支持混合云的部署方式，既可以部署在企業(yè)自己的數(shù)據(jù)中心、私有云環(huán)境，也可以部署在AWS、Azure等公有云以及多云環(huán)境，即使用戶在不同環(huán)境下，也能有近乎一致的使用體驗。

容器為Cloudera CDP帶來了諸多方面的優(yōu)勢

在真實的企業(yè)環(huán)境中，部署和應(yīng)用數(shù)據(jù)系統(tǒng)其實是非常復(fù)雜的一件事，常常面臨諸多方面的問題，這些問題因為新的容器技術(shù)的引入在很大程度上得到了解決。由于歷史原因，用戶內(nèi)部經(jīng)常會有許多過去已經(jīng)設(shè)立的項目，這些項目中有很多都有重復(fù)性，久而久之，系統(tǒng)中的數(shù)據(jù)冗余現(xiàn)象就越來越明顯，數(shù)據(jù)使用效率也是越來越低。由于容器技術(shù)的引入，全新的CDP可以很好地從技術(shù)層面解決這一問題。

作為非常現(xiàn)代化的方案，在技術(shù)架構(gòu)上，Cloudera CDP采用了容器技術(shù)，由于Hadoopp包含的組件非常多，部署非常麻煩，以前需要幾個星期才能完成的部署，現(xiàn)在用了容器化之后大概只需要幾分鐘。

不僅如此，由于采用了容器技術(shù)，所以，平臺還可以為某個應(yīng)用設(shè)定特定該版本的計算引擎，而無需關(guān)注別的應(yīng)用對應(yīng)的計算引擎，當(dāng)用戶喜歡新版本的計算引擎的某些新特性的時候，可以自由升級到新版本，無需關(guān)注別的計算引擎的版本。

容器不僅能讓系統(tǒng)承載不同的軟件版本，而且還能提供彈性伸縮能力。當(dāng)系統(tǒng)中運行著來自多個租戶的不同應(yīng)用時，如果沒有好的資源隔離，應(yīng)用之間會相互搶占資源，如果有些關(guān)鍵工作負(fù)載的SLA受到影響的話，運維人員就會采取一些簡單粗暴的方法，比如把非關(guān)鍵型工作負(fù)載關(guān)停，而有了容器技術(shù)后，它帶來的彈性伸縮能快速靈活作出響應(yīng)。

作為一款企業(yè)級數(shù)據(jù)平臺，Cloudera非常重視數(shù)據(jù)安全性和管控的機(jī)制。Cloudera追求的是無論用戶在哪里運行其數(shù)據(jù)資產(chǎn)，都能確保一致的數(shù)據(jù)安全性，能對數(shù)據(jù)進(jìn)行有效的治理，對數(shù)據(jù)的來龍去脈以及血緣關(guān)系進(jìn)行跟蹤，對數(shù)據(jù)進(jìn)行加密等等，可以在整個企業(yè)范圍內(nèi)確保數(shù)據(jù)的安全。

作為一款全球范圍內(nèi)都非常有影響力的大數(shù)據(jù)平臺，Cloudera CDP發(fā)布前在全球范圍內(nèi)有許多用戶試用，在中國，Cloudera與上海的浦發(fā)銀行的聯(lián)合實驗室也在做相關(guān)驗證。全球范圍內(nèi)，有許多與Cloudera在產(chǎn)品層面有深入合作的客戶，這些用戶會率先嘗試許多新產(chǎn)品，Cloudera CDP目前也得到了許多積極反饋。

100%代碼開源

作為一個融合了Cloudera CDH和Hortonworks HDP平臺的產(chǎn)品，原來的用戶都可以升級到新的CDP平臺上，用戶不需要做遷移，可以直接在本地原地升級到CDP，保持了產(chǎn)品層面上的連續(xù)性。而CDH跟HDP將在未來某個時間段內(nèi)停止更新。

與以往不同的是，Cloudera CDP此次推行的是100%代碼開源策略，不過，由于開源策略的修改，只有付費的用戶才能夠下載到這些軟件，100%的開源也只是面向付費用戶。此外，徐晉還表示，Cloudera后續(xù)的產(chǎn)品也會保證所有的源代碼都是100%開源，承諾將繼續(xù)為開源社區(qū)項目做貢獻(xiàn)。

之所以有這樣的調(diào)整，徐晉表示這是為了能夠更好地服務(wù)到用戶，希望付費客戶所獲得的價值要與免費使用的用戶有所區(qū)別。最后，對于Hadoop的未來發(fā)展也是充滿了信心，徐晉認(rèn)為Hadoop已經(jīng)過了泡沫期，現(xiàn)在進(jìn)入了一個緩步增長的過程當(dāng)中。從市場用戶的實際反映來看，Hadoop是一個默認(rèn)的事實標(biāo)準(zhǔn)，大量客戶新建大數(shù)據(jù)平臺的時候，默認(rèn)會使用Hadoop技術(shù)，Hadoop是一個最成熟、最理性的選擇。

Hadoop本身已經(jīng)比較成熟，但作為一個有40個開源項目組成的集合體，Cloudera把很多的新的開源的項目納入到CDP里，不斷豐富以Hadoop為起點的大數(shù)據(jù)開源社區(qū)，社區(qū)的生命力，社區(qū)的運作模式，客戶的接受度，都是處于一個非常好的勢頭。

fqj