大數(shù)據(jù)計算框架簡介

一、Hadoop框架

Hadoop是目前世界上應(yīng)用最廣泛的大數(shù)據(jù)工具。Hadoop具有高容錯率，且其硬件價格低，可以使用普通PC服務(wù)器（個人理解：普通PC服務(wù)器的具體形式包括個人計算機等）構(gòu)成大數(shù)據(jù)集群。

Hadoop的Map和Reduce函數(shù)（Map和Reduce函數(shù)是大數(shù)據(jù)主要編程模型）的計算模式簡潔，且開發(fā)人員可以通過多種編程語言編寫Map和Reduce函數(shù)。Hadoop的生態(tài)圈（個人理解：此處的生態(tài)圈指可以使用Hadoop的開發(fā)工具集合）包含大量算法和組件。

Hadoop的數(shù)據(jù)吞吐量超過其他大數(shù)據(jù)計算框架，但速度稍慢于其他大數(shù)據(jù)計算框架。

二、Storm框架

Storm框架采用的是流計算框架（根據(jù)網(wǎng)絡(luò)資料理解：流計算框架可處理實時且持續(xù)進入流計算框架數(shù)據(jù)的計算），也可被稱為實時大數(shù)據(jù)處理框架，在數(shù)據(jù)處理延時（根據(jù)網(wǎng)絡(luò)資料理解：數(shù)據(jù)處理延遲的原因是存儲或檢索數(shù)據(jù)包需要時間）方面具有較大優(yōu)勢。

但Storm框架只能進行數(shù)據(jù)處理，不能進行數(shù)據(jù)存儲，因此，Storm框架需借助Hadoop框架的HDFS（分布式文件系統(tǒng)）存儲數(shù)據(jù)。

Storm框架由Twitter（推特）開發(fā)，為開源框架，并托管于GitHub（根據(jù)百度百科：GitHub是一個面向開源及私有軟件項目的托管平臺），Storm框架可被免費使用。Storm框架支持的編程語言包括：Java、Ruby、Python。

三、Spark框架

Spark框架包含實時流處理工具，Spark框架沒有存儲數(shù)據(jù)功能。Spark框架可以與Hadoop框架集成，代替Hadoop框架的Map和Reduce函數(shù)；也可以將Spark框架單獨部署集群（根據(jù)網(wǎng)絡(luò)資料理解：部署集群的含義是在集群內(nèi)的所有電腦或服務(wù)器中安裝同一應(yīng)用），但需要借助HDFS等分布式存儲系統(tǒng)存儲數(shù)據(jù)。

Spark框架是基于內(nèi)存的框架，因此，Spark框架的運算速度快，其速度約為Hadoop框架的100倍。

四、Flink框架

（1）與Spark框架相同，F(xiàn)link框架也是基于內(nèi)存的實時計算框架。

（2）Flink框架的數(shù)據(jù)處理速度快于Spark框架的數(shù)據(jù)處理速度。Flink框架支持毫秒級的流計算，Spark框架支持秒級的流計算。

（3）相比于Spark框架，F(xiàn)link框架與Hadoop框架具有更好的兼容性。

（4）Flink框架支持API（根據(jù)百度百科理解：API一般指應(yīng)用程序編程接口，可將此處接口理解為服務(wù)的傳遞者。API可使開發(fā)人員訪問其他系統(tǒng)對外提供的功能接口或服務(wù)，且開發(fā)人員無需訪問該功能接口或服務(wù)的源代碼或理解該功能接口或服務(wù)的內(nèi)部工作機制細節(jié)）接口數(shù)量與Spark框架支持API接口數(shù)量相近（此句由網(wǎng)絡(luò)資料總結(jié)），但Flink框架對SQL的支持相較于Spark框架對SQL的支持較差。



圖片來源：網(wǎng)絡(luò)資料

（5）因為Flink框架較新，使用Flink框架的開發(fā)人員較少，所以Flink框架的社區(qū)活躍度低于Spark框架，即有關(guān)Spark框架的問題更容易得到解答。

五、Yarn架構(gòu)

Yarn架構(gòu)屬于Hadoop2.0的分支。如圖一所示，Yarn架構(gòu)處于HDFS和MapReduce之間。



圖一，圖片來源：學(xué)堂在線《大數(shù)據(jù)導(dǎo)論》

Yarn架構(gòu)主要由ResourceManager、NodeManager、ApplicationMaster（根據(jù)網(wǎng)絡(luò)資料：ApplicationMaster負責(zé)與ResourceManager協(xié)商資源，并與NodeManager協(xié)同來執(zhí)行和監(jiān)控Container） 、Container（根據(jù)網(wǎng)絡(luò)資料：Container可被理解為單個節(jié)點RAM、CPU、磁盤的集合）組件構(gòu)成。

Yarn架構(gòu)的結(jié)構(gòu)是master/slave結(jié)構(gòu)（master的中文含義是主人，slave的中文含義是奴隸，master/slave結(jié)構(gòu)即為主從結(jié)構(gòu)）。如圖二所示，ResourceManager是master，即主節(jié)點；NodeManager是slave，即從節(jié)點。



圖二，圖片來源：學(xué)堂在線《大數(shù)據(jù)導(dǎo)論》

審核編輯：劉清