hadoop是什么_華為大數(shù)據(jù)平臺(tái)hadoop你了解多少

　　Hadoop得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載（ETL）方面上的天然優(yōu)勢(shì)。Hadoop的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ)，對(duì)例如像ETL這樣的批處理操作相對(duì)合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲(chǔ)。Hadoop的MapReduce功能實(shí)現(xiàn)了將單個(gè)任務(wù)打碎，并將碎片任務(wù)（Map）發(fā)送到多個(gè)節(jié)點(diǎn)上，之后再以單個(gè)數(shù)據(jù)集的形式加載（Reduce）到數(shù)據(jù)倉庫里。

　　Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)，因此它的成本比較低，任何人都可以使用。

　　華為大數(shù)據(jù)平臺(tái)hadoop你了解多少

　　提到大數(shù)據(jù)平臺(tái)，就不得不提Hadoop。Hadoop有三大基因：第一，Hadoop需要sharenothing的架構(gòu)，所以它可以scale-out。第二，它是一個(gè)計(jì)算存儲(chǔ)解耦的架構(gòu)，好處是計(jì)算引擎可以多樣化。舉個(gè)例子，批處理有Hive，交互查詢有Spark，機(jī)器學(xué)習(xí)還可以有后面的tensorflow這些深度學(xué)習(xí)的框架。第三，Hadoop是近數(shù)據(jù)計(jì)算的。因?yàn)榇髷?shù)據(jù)平臺(tái)是一個(gè)數(shù)據(jù)密集的計(jì)算場(chǎng)景，在這種非場(chǎng)景下，IO會(huì)是個(gè)瓶頸，所以把計(jì)算移動(dòng)到數(shù)據(jù)所在地會(huì)提升計(jì)算的性能。

　　網(wǎng)絡(luò)技術(shù)的發(fā)展是推動(dòng)大數(shù)據(jù)平臺(tái)發(fā)展的一個(gè)關(guān)鍵因素。2012年以前是一個(gè)互聯(lián)網(wǎng)的時(shí)代，這個(gè)時(shí)期互聯(lián)網(wǎng)公司和電信運(yùn)營商，掌握著海量的數(shù)據(jù)，所以他們開始利用Hadoop平臺(tái)來進(jìn)行大數(shù)據(jù)的處理。那時(shí)候程序員自己寫程序跑在Hadoop平臺(tái)上來解決應(yīng)用問題。2012年以后移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展，這使得服務(wù)行業(yè)率先數(shù)字化。例如在金融行業(yè)，手機(jī)App讓用戶可以隨時(shí)隨地查詢、轉(zhuǎn)賬，此時(shí)銀行開始面臨海量數(shù)據(jù)和高并發(fā)的沖擊，就需要一個(gè)大數(shù)據(jù)平臺(tái)來解決這個(gè)問題。這也就是為什么華為在2013年面向行業(yè)市場(chǎng)推出大數(shù)據(jù)平臺(tái)產(chǎn)品FusionInsight。接下來物聯(lián)網(wǎng)的發(fā)展會(huì)讓更多的實(shí)體行業(yè)數(shù)字化，數(shù)據(jù)的特征更多是半結(jié)構(gòu)化和非結(jié)構(gòu)化，AI等更多新的搜索技術(shù)將能夠幫助我們輕松地使用大數(shù)據(jù)平臺(tái)。

　　華為FusionInsight大數(shù)據(jù)平臺(tái)是集Hadoop生態(tài)發(fā)行版、大規(guī)模并行處理數(shù)據(jù)庫、大數(shù)據(jù)云服務(wù)于一體的融合數(shù)據(jù)處理與服務(wù)平臺(tái)，擁有端到端全生命周期的解決方案能力。除了提供包括批處理、內(nèi)存計(jì)算、流計(jì)算和MPPDB在內(nèi)的全方位數(shù)據(jù)處理能力外，還提供數(shù)據(jù)分析挖掘平臺(tái)、數(shù)據(jù)服務(wù)平臺(tái)，幫助用戶實(shí)現(xiàn)從數(shù)據(jù)到知識(shí)，從知識(shí)到智慧的轉(zhuǎn)換，進(jìn)而幫助用戶從海量數(shù)據(jù)中挖掘數(shù)據(jù)價(jià)值。

　　此外華為FusionInsight大數(shù)據(jù)平臺(tái)是根據(jù)行業(yè)客戶需求進(jìn)行優(yōu)化的解決方案。為解決用戶在具體場(chǎng)景下的問題，提供許多創(chuàng)新的技術(shù)能力，舉幾個(gè)例子：

　　第一個(gè)是統(tǒng)一SQL。大數(shù)據(jù)技術(shù)中有很多能夠利用SQL語言進(jìn)行數(shù)據(jù)處理的組件，比如Hive、SparkSQL、Elk、MPPDB等，當(dāng)用戶對(duì)于這些組件進(jìn)行業(yè)務(wù)開發(fā)時(shí)，需要對(duì)不同組件分別進(jìn)行，造成很大的不便。FusionInsight提供統(tǒng)一SQL，對(duì)外業(yè)務(wù)界面只出現(xiàn)一個(gè)SQL開發(fā)管理界面，通過統(tǒng)一SQL的業(yè)務(wù)分發(fā)層進(jìn)行業(yè)務(wù)分發(fā)，這樣就簡化了業(yè)務(wù)開發(fā)。同時(shí)，華為還提供了SQLonHadoop引擎Elk，這個(gè)引擎完全兼容SQL2003標(biāo)準(zhǔn)，無需修改測(cè)試腳本就可以通過TPC-DS測(cè)試，性能超過開源產(chǎn)品3倍。通過使用統(tǒng)一SQL技術(shù)，某大型保險(xiǎn)公司實(shí)現(xiàn)了用大數(shù)據(jù)平臺(tái)替代傳統(tǒng)數(shù)倉，在復(fù)雜計(jì)算業(yè)務(wù)場(chǎng)景下，其性能提升了10-100倍。

　　第二個(gè)是實(shí)時(shí)搜索。華為FusionInsight率先實(shí)現(xiàn)了對(duì)Hadoop平臺(tái)與MPPDB數(shù)倉平臺(tái)的統(tǒng)一全文檢索，率先支持SQLonSolr接口，提升業(yè)務(wù)開發(fā)效率5倍以上，獨(dú)創(chuàng)標(biāo)簽索引方案，提升搜索性能3-10倍。目前，實(shí)時(shí)搜索技術(shù)在平安城市和金融行業(yè)已經(jīng)實(shí)現(xiàn)商用。在國內(nèi)某省的平安城市項(xiàng)目中，百億級(jí)規(guī)模數(shù)據(jù)集中查詢，實(shí)時(shí)搜索響應(yīng)時(shí)間《3秒。

　　第三個(gè)是實(shí)時(shí)決策。與日常生活息息相關(guān)的很多業(yè)務(wù)是需要實(shí)時(shí)決策的，比如使用銀行卡交易過程中的風(fēng)險(xiǎn)控制。由于傳統(tǒng)技術(shù)處理速度的原因，往往只能實(shí)現(xiàn)事后風(fēng)控。也就是說用戶在刷卡完成后，銀行才能夠檢查出來，剛才的交易是否有風(fēng)險(xiǎn)。這樣對(duì)于銀行和客戶而言，都會(huì)有很大的風(fēng)險(xiǎn)存在。而華為FusionInsight實(shí)時(shí)決策平臺(tái)，可以實(shí)現(xiàn)毫秒級(jí)復(fù)雜規(guī)則的風(fēng)險(xiǎn)檢查，提供百萬TIPS的業(yè)務(wù)處理能力，從而讓風(fēng)險(xiǎn)控制從事后變?yōu)槭轮?，并確保端到端的交易可在500毫秒內(nèi)完成，不影響交易用戶的體驗(yàn)。

　　第四個(gè)是圖分析技術(shù)。在生活中有很多時(shí)候是需要進(jìn)行用戶的關(guān)系分析來進(jìn)行風(fēng)險(xiǎn)控制和業(yè)務(wù)處理的。如果我們的客戶中有一個(gè)是VIP客戶，那么他的朋友符合VIP客戶條件的可能性就會(huì)很大。因此如果我們能夠通過關(guān)系分析技術(shù)找到他的朋友圈，在針對(duì)他的朋友進(jìn)行針對(duì)性營銷，那么業(yè)務(wù)成功的可能性也就會(huì)大大增加。但是，傳統(tǒng)的數(shù)據(jù)庫技術(shù)在處理客戶關(guān)系發(fā)現(xiàn)時(shí)很困難，某公司曾經(jīng)做過一個(gè)測(cè)試，想在2000萬客戶中發(fā)現(xiàn)客戶間的關(guān)系信息，但是一直無法算出來。但是用圖分析技術(shù)就可以很好解決這一類問題。因?yàn)樵趫D數(shù)據(jù)庫中，用戶就是點(diǎn)，用戶關(guān)系就是邊，發(fā)現(xiàn)用戶關(guān)系就變成了發(fā)現(xiàn)點(diǎn)與點(diǎn)間需要幾條邊的問題。華為的分布式圖數(shù)據(jù)庫，能夠?qū)崿F(xiàn)萬億頂點(diǎn)百億邊的實(shí)時(shí)查詢，從而很快發(fā)現(xiàn)用戶關(guān)系。在某項(xiàng)目中，華為幫助客戶實(shí)現(xiàn)了13.7億條關(guān)系圖譜數(shù)據(jù)，3層關(guān)系查詢秒級(jí)響應(yīng)，從而大大提高了業(yè)務(wù)響應(yīng)的速度。

　　最后，華為大數(shù)據(jù)平臺(tái)是有著豐富的市場(chǎng)實(shí)踐的產(chǎn)品。華為FusionInsight大數(shù)據(jù)平臺(tái)已在40+個(gè)國家，總計(jì)700+項(xiàng)目中實(shí)現(xiàn)了成功商用?？蛻舭ㄖ袊汀⒁黄瘓F(tuán)、中國商飛、工商銀行、招商銀行、中國移動(dòng)、西班牙電信等眾多世界500強(qiáng)企業(yè)。同時(shí)華為公司在全球建成有13個(gè)開放實(shí)驗(yàn)室，在這里華為與各國200+合作伙伴進(jìn)行大數(shù)據(jù)方案的聯(lián)合創(chuàng)新，包括SAP、埃森哲、IBM、宇信科技、中軟國際等，共同推動(dòng)大數(shù)據(jù)技術(shù)在各行各業(yè)的應(yīng)用。

　　數(shù)博會(huì)正在進(jìn)行中，相約數(shù)博會(huì)，與華為共同開啟大數(shù)據(jù)時(shí)代美好未來！