未來大數(shù)據(jù)時(shí)代，Hadoop會(huì)被Spark取代?

由雅虎為工程師和數(shù)據(jù)科學(xué)家打造的Apache Hadoop曾因巨大的潛力而備受稱贊，但如今它卻受到了更快的產(chǎn)品的影響，而這些產(chǎn)品往往來自于它本身的生態(tài)系統(tǒng)——Spark就是其中之一。今年早些，H20.ai的創(chuàng)始人Sri Ambati對(duì)Datanami 曾說：“Spark將會(huì)使Hadoop處于絕地”。

但在過去的幾年中，Hadoop似乎并沒有出現(xiàn)過任何衰退的跡象。在2015年Atscale的調(diào)查報(bào)告中顯示：“在未來3個(gè)月內(nèi)，已經(jīng)有超過 76%的人使用Hadoop來做更多的工作。”這些受訪者中大約有一半聲稱他們利用Hadoop工作中獲得了一定的價(jià)值。Hadoop作為一個(gè)十多年的老品牌，在產(chǎn)品的采用方面并沒有減緩下降的趨勢(shì)，Spark也并沒有做到真正取代Hadoop?？湛跓o憑，下面我們從以下幾個(gè)方面來分析一下Spark在未來的幾年之內(nèi)到底能不能真正的取代Hadoop。

按行業(yè)劃分的市場(chǎng)滲透率

毫無疑問，為專家設(shè)計(jì)的產(chǎn)品一般都會(huì)停留在原來的軌道上，在其他方面不會(huì)有所涉及。但Spark在各個(gè)行業(yè)都存在一些有意義的分布，這可能要?dú)w功于各種市場(chǎng)上的大數(shù)據(jù)的泛濫。所以，雖然Spark可能有更廣泛的應(yīng)用，但Hadoop仍然支配著原本預(yù)期的用戶群。

主要地理市場(chǎng)

在全球范圍內(nèi)，我們可以看到Informatica處于中心位置——在歐洲和美洲整體市場(chǎng)份額占比達(dá)32%。在兩年半的時(shí)間里，我們跟蹤了Informatica在云市場(chǎng)和工業(yè)領(lǐng)域的增長(zhǎng)，結(jié)果顯示達(dá)到了50%的增長(zhǎng)，而且在高等教育領(lǐng)域也處于領(lǐng)先地位。上周， Informatica被Gartner評(píng)為主數(shù)據(jù)管理解決方案2017年魔力象限的領(lǐng)導(dǎo)者。而Hadoop仍然停留于過去成功的地理市場(chǎng)中。

公司規(guī)模的采用趨勢(shì)

在企業(yè)客戶中Spark也沒有大范圍的涉及。我們注意到世界上大多數(shù)公司規(guī)模較小，一般都為1-50名員工，所以Spark似乎并不是任何規(guī)模公司的唯一選擇。對(duì)于那些已經(jīng)使用Hadoop的人來說，這個(gè)產(chǎn)品也對(duì)企業(yè)和公司起到了一定的作用，而且 Hadoop并不僅限于一種用戶。而Hadoop無論在何種規(guī)模的公司中，使用率相對(duì)于Spark還是非常高的。

寫在最后

此外，在調(diào)查的過程中，傳統(tǒng)的科技公司像eBay、Verizon、惠普和亞馬遜等主流廠商已經(jīng)開始使用Spark，但是Hadoop還沒有被大規(guī)模的拋棄。相反，用戶使用Spark作為系統(tǒng)的介紹，利用這個(gè)程序來突破Hadoop的障礙，兩者的結(jié)合，使得工作更高效的完成。