怎樣在三個月內成為大數(shù)據(jù)工程師

在技術論壇中或知乎上，看到近幾萬的朋友都在疑惑，學習Java應該選擇什么發(fā)展方向，這個咱們在之前的文章中有提到過，Java發(fā)展在領域上有三個選擇方向：

JavaEE，主要應用于企業(yè)級應用開發(fā)；安卓開發(fā)方向；嵌入式應用開發(fā)方向。在此建議大家選擇JavaEE方向，因為應用非常廣泛，崗位設置也比較多。

但我們從來沒有討論過學習Java，難道這輩子就只能做Java后端開發(fā)嗎？只能在這條路上奮斗到底嗎？難道中途沒有其他的選擇嗎？

偶然認識的一個朋友，最開始是從事Java后端開發(fā)的，后來他在業(yè)余時間自學成功轉入大數(shù)據(jù)行業(yè)，現(xiàn)在是一名大數(shù)據(jù)工程師，待遇也比之前好更多。前提是他是一名Java后端開發(fā)。

大數(shù)據(jù)是我們如今比較火的一個發(fā)展方向，但是很多培訓機構有提到幾個月速成的，小編覺得不是特別靠譜。

原因有以下：

大數(shù)據(jù)是一個新生行業(yè)，還不太成熟。

Java發(fā)展了將近20年，也沒有說幾個月速成的，最多也就是帶你入門，讓你對Java的知識結構體系有一個清晰的認知，在后期的工作實踐期間成長的速度更快。

大數(shù)據(jù)的起點要高，并不是所謂的零基礎就可以入門的。

我們接下來講述的有關大數(shù)據(jù)的學習是有條件限制的，首先你需要是一名普通的工程師，如果你是Java工程師的話更好，但如果你是小白的話，那就只能成為一名工程師的后再來學習大數(shù)據(jù)吧。

一、認識大數(shù)據(jù)

大數(shù)據(jù)本質其實也是數(shù)據(jù)，不過也包括了些新的特征，

數(shù)據(jù)來源廣；

數(shù)據(jù)格式多樣化（結構化數(shù)據(jù)、非結構化數(shù)據(jù)、Excel文件等）；

數(shù)據(jù)量大（最少也是TB級別的、甚至可能是PB級別）；

數(shù)據(jù)增長速度快。

而針對以上新的特征需要考慮很多問題：

例如，數(shù)據(jù)來源廣，該如何采集匯總？采集匯總之后，又該存儲呢？數(shù)據(jù)存儲之后，該如何通過運算轉化成自己想要的結果呢？

對于這些問題，我們需要有相對應的知識解決。

二、大數(shù)據(jù)所需技能要求

Python語言：編寫一些腳本時會用到。

Scala語言：編寫Spark程序的最佳語言，當然也可以選擇用Python。

Ozzie，azkaban：定時任務調度的工具。

Hue，Zepplin：圖形化任務執(zhí)行管理，結果查看工具。

Allluxio，Kylin等：通過對存儲的數(shù)據(jù)進行預處理，加快運算速度的工具。

必須掌握的技能：

Java高級（虛擬機、并發(fā)）、Linux 基本操作、Hadoop（HDFS+MapReduce+Yarn ）、 HBase（JavaAPI操作+Phoenix ）、Hive（Hql基本操作和原理理解）、 Kafka、Storm/JStorm、Scala、Python、Spark （Core+sparksql+Spark streaming ） 、輔助小工具（Sqoop/Flume/Oozie/Hue等）

高階技能6條：

機器學習算法以及mahout庫加MLlib、 R語言、Lambda 架構、Kappa架構、Kylin、Alluxio

三、學習規(guī)劃

每天需要有3個小時的學習時間，周末的時候需要10小時，如果做不到的話，只能是

第一階段（基礎階段）

Linux學習

Linux操作系統(tǒng)介紹與安裝、Linux常用命令、Linux常用軟件安裝、Linux網(wǎng)絡、 防火墻、Shell編程等。

Java 高級學習（《深入理解Java虛擬機》、《Java高并發(fā)實戰(zhàn)》）

掌握多線程、掌握并發(fā)包下的隊列、掌握JVM技術、掌握反射和動態(tài)代理、了解JMS。

Zookeeper學習

Zookeeper分布式協(xié)調服務介紹、Zookeeper集群的安裝部署、Zookeeper數(shù)據(jù)結構、命令。

第二階段（攻堅階段）

Hadoop、Hive、HBase、Scala、Spark、Python

第三階段（輔助工具工學習階段）

Sqoop、Flume、Oozie、Hue這些工具的學習主要在CSDN，51CTO以及官網(wǎng)都可以學習。

總結

在技術行業(yè)里面，每天都會有新的東西出現(xiàn)，需要關注最新技術動態(tài)，不斷學習。任何一般技術都是先學習理論，然后在實踐中不斷完善理論的過程。

如果你覺得自己看書效率太慢，你可以網(wǎng)上搜集一些課程。

快速學習的能力、解決問題的能力、溝通能力在這個行業(yè)是真的非常重要的指標。

要善于使用StackOverFlow和Google來幫助你學習過程遇到的問題。

視頻課程推薦：可以去萬能的淘寶購買一些視頻課程，你輸入“大數(shù)據(jù)視頻課程”，會出現(xiàn)很多，多購買幾份（100塊以內可以搞定），然后選擇一個適合自己的。

以上是我們對大數(shù)據(jù)學習的總結，當然我們也提到了，并不是說零基礎的就可以直接學習，需要有編程的基礎，要先掌握扎實的編程基礎，在此建議學習Java，成為一名工程師的時候，有一定編程經(jīng)驗，自學起來也相對比開始要簡單一點，然后對大數(shù)據(jù)有興趣或者想要進入這個行業(yè)的就可以去學習了。