Hadoop大數(shù)據(jù)“存算分離”，柏科數(shù)據(jù) ISCloud分布式存儲提質(zhì)增效

數(shù)據(jù)湖的發(fā)展契機(jī)，來源于近年來的AI熱潮和云計(jì)算、5G的發(fā)展，在日益發(fā)展的海量數(shù)據(jù)時(shí)代，數(shù)據(jù)已成為企業(yè)發(fā)展的核心資產(chǎn)，通過構(gòu)建適用于大數(shù)據(jù)的底層架構(gòu)，圍繞Hadoop提供語義一致性、數(shù)據(jù)治理和安全性。

?

Hadoop作為數(shù)據(jù)湖最常用的解決方案之一，其的部署和需求仍然很大并且正在增長。在最近的一項(xiàng)涉及235名受訪者的調(diào)查中，34％的受訪者目前正在使用Hadoop進(jìn)行數(shù)據(jù)和分析工作，另有55％的受訪者計(jì)劃在未來24個(gè)月內(nèi)采取同樣方案，總計(jì)需求量達(dá)到89％（Gartner，2016）。

在Hadoop大數(shù)據(jù)平臺方案中，當(dāng)存儲空間或計(jì)算資源不足時(shí)，只能同時(shí)對兩者進(jìn)行擴(kuò)容，將導(dǎo)致額外成本的增加。假設(shè)用戶對存儲資源的需求遠(yuǎn)大于對計(jì)算資源的需求，那么同時(shí)擴(kuò)容計(jì)算和存儲后，新擴(kuò)容的計(jì)算資源就被浪費(fèi)了，反之，存儲資源被浪費(fèi)。獨(dú)立擴(kuò)展計(jì)算或存儲的架構(gòu)設(shè)計(jì)，被認(rèn)為是更加靈活的擴(kuò)容方式。

因此，業(yè)內(nèi)新擴(kuò)容方式“存算分離”架構(gòu)的優(yōu)勢逐漸明顯，“存算分離”成了大數(shù)據(jù)架構(gòu)發(fā)展的必然趨勢，成了解決行業(yè)用戶在使用Hadoop時(shí)，面臨計(jì)算資源浪費(fèi)、存儲性能低、管理成本過高等痛點(diǎn)的利器。最初在Hadoop1.0時(shí)代，計(jì)算和存儲是高度融合的，僅能處理單一的MapReduce分析業(yè)務(wù)；如今已經(jīng)到了Hadoop3.0時(shí)代，計(jì)算存儲走向分離，通過Hadoop架構(gòu)策略，優(yōu)化了冷熱數(shù)據(jù)的存儲。打造了更適合企業(yè)級市場，資源云化和靈活擴(kuò)展，能夠讓用戶享受更專業(yè)的存儲，更佳的可靠性和利用率。

ISCloud分布式存儲系統(tǒng)面向海量數(shù)據(jù)場景，針對大數(shù)據(jù)Apache Hadoop等應(yīng)用場景，提供原生接口，將原生Hadoop集群從當(dāng)前計(jì)算、存儲一體化狀態(tài)，拆分成計(jì)算和存儲兩個(gè)獨(dú)立集群，實(shí)現(xiàn)“存算分離”形式，充分吸納計(jì)算、存儲兩個(gè)產(chǎn)業(yè)的最終成果，加速釋放數(shù)據(jù)價(jià)值。

? 提供標(biāo)準(zhǔn)接口，實(shí)現(xiàn)智能化負(fù)載均衡

非結(jié)構(gòu)化的原始數(shù)據(jù)可以通過Sqoop、DistCp等工具直接存儲在ISCloud分布式存儲上，業(yè)務(wù)數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)和應(yīng)用數(shù)據(jù)可以通過Spark、Kafka等HBase分布式數(shù)據(jù)倉及Hadoop大數(shù)據(jù)Hive倉庫內(nèi)。HBase表數(shù)據(jù)和Hive內(nèi)部表數(shù)據(jù)仍然通過HDFS來存儲。ISCloud分布式存儲在存儲海量非結(jié)構(gòu)化數(shù)據(jù)，甚至是海量小文件的同時(shí)，減輕HBase及Hive的壓力，為后續(xù)擴(kuò)容單一屬性集群提供基礎(chǔ)。

?? 協(xié)議互通特性，提高數(shù)據(jù)分析效率

ISCloud分布式存儲采用多種協(xié)議互通技術(shù)，部署語義抽象層，面對多樣化結(jié)構(gòu)數(shù)據(jù)提供適合文件、對象、塊及大數(shù)據(jù)的原生語義，為Apache Hadoop計(jì)算層提供了標(biāo)準(zhǔn)的Hadoop文件系統(tǒng)API，支持文件、大數(shù)據(jù)接口訪問，免數(shù)據(jù)遷移，縮短分析路徑。實(shí)現(xiàn)多集群數(shù)據(jù)融合互通，提升數(shù)據(jù)共享和分析效率。

? 降本增效，大幅降低TCO

隨著大數(shù)據(jù)應(yīng)用的全面普及，存算分離已成為企業(yè)大數(shù)據(jù)平臺建設(shè)的首選。采用全對稱分布式NameNode，集群性能和支持文件數(shù)隨節(jié)點(diǎn)數(shù)目增加，單一命名空間支持文件數(shù)達(dá)百億級。計(jì)算存儲分離，按需擴(kuò)展，實(shí)現(xiàn)精準(zhǔn)投-資。

fqj