基于Hadoop集群搭建的企業(yè)大數(shù)據(jù)分析平臺

面對海量的各種來源的數(shù)據(jù)，如何對這些零散的數(shù)據(jù)進(jìn)行有效的分析，得到有價值的信息一直是大數(shù)據(jù)領(lǐng)域研究的熱點問題。

大數(shù)據(jù)分析處理平臺就是整合當(dāng)前主流的各種具有不同側(cè)重點的大數(shù)據(jù)處理分析框架和工具，實現(xiàn)對數(shù)據(jù)的挖掘和分析，一個大數(shù)據(jù)分析平臺涉及到的組件眾多，如何將其有機(jī)地結(jié)合起來，完成海量數(shù)據(jù)的挖掘是一項復(fù)雜的工作。在搭建大數(shù)據(jù)分析平臺之前，要先明確業(yè)務(wù)需求場景以及用戶的需求，通過大數(shù)據(jù)分析平臺，想要得到哪些有價值的信息，需要接入的數(shù)據(jù)有哪些，明確基于場景業(yè)務(wù)需求的大數(shù)據(jù)平臺要具備的基本的功能，來決定平臺搭建過程中使用的大數(shù)據(jù)處理工具和框架。

（1）操作系統(tǒng)的選擇操作系統(tǒng)一般使用開源版的RedHat、Centos或者Debian作為底層的構(gòu)建平臺，要根據(jù)大數(shù)據(jù)平臺所要搭建的數(shù)據(jù)分析工具可以支持的系統(tǒng)，正確的選擇操作系統(tǒng)的版本。

（2）搭建Hadoop集群Hadoop作為一個開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺，實現(xiàn)了在大量的廉價計算機(jī)組成的集群中對海量數(shù)據(jù)進(jìn)行分布式計算。Hadoop框架中最核心的設(shè)計是HDFS和MapReduce，HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機(jī)器上，能夠提供高吞吐量的數(shù)據(jù)訪問，適用于那些有著超大數(shù)據(jù)集的應(yīng)用程序;MapReduce是一套可以從海量的數(shù)據(jù)中提取數(shù)據(jù)最后返回結(jié)果集的編程模型。在生產(chǎn)實踐應(yīng)用中，Hadoop非常適合應(yīng)用于大數(shù)據(jù)存儲和大數(shù)據(jù)的分析應(yīng)用，適合服務(wù)于幾千臺到幾萬臺大的服務(wù)器的集群運(yùn)行，支持PB級別的存儲容量。Hadoop家族還包含各種開源組件，比如Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，Spark等。使用開源組件的優(yōu)勢顯而易見，活躍的社區(qū)會不斷的迭代更新組件版本，使用的人也會很多，遇到問題會比較容易解決，同時代碼開源，高水平的數(shù)據(jù)開發(fā)工程師可結(jié)合自身項目的需求對代碼進(jìn)行修改，以更好的為項目提供服務(wù)。

（3）選擇數(shù)據(jù)接入和預(yù)處理工具面對各種來源的數(shù)據(jù)，數(shù)據(jù)接入就是將這些零散的數(shù)據(jù)整合在一起，綜合起來進(jìn)行分析。數(shù)據(jù)接入主要包括文件日志的接入、數(shù)據(jù)庫日志的接入、關(guān)系型數(shù)據(jù)庫的接入和應(yīng)用程序等的接入，數(shù)據(jù)接入常用的工具有Flume，Logstash，NDC（網(wǎng)易數(shù)據(jù)運(yùn)河系統(tǒng)），sqoop等。對于實時性要求比較高的業(yè)務(wù)場景，比如對存在于社交網(wǎng)站、新聞等的數(shù)據(jù)信息流需要進(jìn)行快速的處理反饋，那么數(shù)據(jù)的接入可以使用開源的Strom，Spark streaming等。當(dāng)需要使用上游模塊的數(shù)據(jù)進(jìn)行計算、統(tǒng)計和分析的時候，就需要用到分布式的消息系統(tǒng)，比如基于發(fā)布/訂閱的消息系統(tǒng)kafka。還可以使用分布式應(yīng)用程序協(xié)調(diào)服務(wù)Zookeeper來提供數(shù)據(jù)同步服務(wù)，更好的保證數(shù)據(jù)的可靠和一致性。數(shù)據(jù)預(yù)處理是在海量的數(shù)據(jù)中提取出可用特征，建立寬表，創(chuàng)建數(shù)據(jù)倉庫，會使用到HiveSQL，SparkSQL和Impala等工具。隨著業(yè)務(wù)量的增多，需要進(jìn)行訓(xùn)練和清洗的數(shù)據(jù)也會變得越來越復(fù)雜，可以使用azkaban或者oozie作為工作流調(diào)度引擎，用來解決有多個hadoop或者spark等計算任務(wù)之間的依賴關(guān)系問題。

（4）數(shù)據(jù)存儲除了Hadoop中已廣泛應(yīng)用于數(shù)據(jù)存儲的HDFS，常用的還有分布式、面向列的開源數(shù)據(jù)庫Hbase，HBase是一種key/value系統(tǒng)，部署在HDFS上，與Hadoop一樣，HBase的目標(biāo)主要是依賴橫向擴(kuò)展，通過不斷的增加廉價的商用服務(wù)器，增加計算和存儲能力。同時hadoop的資源管理器Yarn，可以為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，為集群在利用率、資源統(tǒng)一等方面帶來巨大的好處。Kudu是一個圍繞Hadoop生態(tài)圈建立的存儲引擎，Kudu擁有和Hadoop生態(tài)圈共同的設(shè)計理念，可以運(yùn)行在普通的服務(wù)器上，作為一個開源的存儲引擎，可以同時提供低延遲的隨機(jī)讀寫和高效的數(shù)據(jù)分析能力。Redis是一種速度非?？斓姆顷P(guān)系型數(shù)據(jù)庫，可以將存儲在內(nèi)存中的鍵值對數(shù)據(jù)持久化到硬盤中，可以存儲鍵與5種不同類型的值之間的映射。

（5）選擇數(shù)據(jù)挖掘工具Hive可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供HQL的查詢功能，它是建立在Hadoop之上的數(shù)據(jù)倉庫基礎(chǔ)架構(gòu)，是為了減少MapReduce編寫工作的批處理系統(tǒng)，它的出現(xiàn)可以讓那些精通SQL技能、但是不熟悉MapReduce、編程能力較弱和不擅長Java的用戶能夠在HDFS大規(guī)模數(shù)據(jù)集上很好的利用SQL語言查詢、匯總、分析數(shù)據(jù)。Impala是對Hive的一個補(bǔ)充，可以實現(xiàn)高效的SQL查詢，但是Impala將整個查詢過程分成了一個執(zhí)行計劃樹，而不是一連串的MapReduce任務(wù)，相比Hive有更好的并發(fā)性和避免了不必要的中間sort和shuffle。Spark可以將Job中間輸出結(jié)果保存在內(nèi)存中，不需要讀取HDFS，Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。Solr是一個運(yùn)行在Servlet容器的獨立的企業(yè)級搜索應(yīng)用的全文搜索服務(wù)器，用戶可以通過http請求，向搜索引擎服務(wù)器提交一定格式的XML，生成索引，或者通過HTTP GET操作提出查找請求，并得到XML格式的返回結(jié)果。還可以對數(shù)據(jù)進(jìn)行建模分析，會用到機(jī)器學(xué)習(xí)相關(guān)的知識，常用的機(jī)器學(xué)習(xí)算法，比如貝葉斯、邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、協(xié)同過濾等。

（6）數(shù)據(jù)的可視化以及輸出API對于處理得到的數(shù)據(jù)可以對接主流的BI系統(tǒng)，比如國外的Tableau、Qlikview、PowrerBI等，國內(nèi)的SmallBI和新興的網(wǎng)易有數(shù)（可免費試用）等，將結(jié)果進(jìn)行可視化，用于決策分析;或者回流到線上，支持線上業(yè)務(wù)的發(fā)展。成熟的搭建一套大數(shù)據(jù)分析平臺不是一件簡單的事情，本身就是一項復(fù)雜的工作，在這過程中需要考慮的因素有很多，比如：穩(wěn)定性，可以通過多臺機(jī)器做數(shù)據(jù)和程序運(yùn)行的備份，但服務(wù)器的質(zhì)量和預(yù)算成本相應(yīng)的會限制平臺的穩(wěn)定性;可擴(kuò)展性：大數(shù)據(jù)平臺部署在多臺機(jī)器上，如何在其基礎(chǔ)上擴(kuò)充新的機(jī)器是實際應(yīng)用中經(jīng)常會遇到的問題;安全性：保障數(shù)據(jù)安全是大數(shù)據(jù)平臺不可忽視的問題，在海量數(shù)據(jù)的處理過程中，如何防止數(shù)據(jù)的丟失和泄漏一直是大數(shù)據(jù)安全領(lǐng)域的研究熱點。