迷茫的后端 想做大數(shù)據(jù)可以少走很多彎路

隨著大數(shù)據(jù)、人工智能的火熱，很多程序員都不甘現(xiàn)狀，尋求更廣闊的發(fā)展。但高薪工作也意味著高壓，對于很多工作了三五年的程序員來說，更不想放棄現(xiàn)有的技術(shù)基礎(chǔ)，去重新學(xué)習(xí)新領(lǐng)域的技術(shù)。但大數(shù)據(jù)作為一個飛速發(fā)展的熱門領(lǐng)域，一半以上的專業(yè)人才卻是轉(zhuǎn)行而來……

1

數(shù)據(jù)是未來的“一切”

很多向大數(shù)據(jù)方向發(fā)展的人，都是看到了這個行業(yè)未來無限廣闊的前景和“錢景”。大數(shù)據(jù)并不是新名詞，但近幾年大數(shù)據(jù)、人工智能向各行各業(yè)逐漸滲透，數(shù)據(jù)也隨之井噴式增長。早年掌握大量用戶數(shù)據(jù)的互聯(lián)網(wǎng)公司，已經(jīng)向世人展現(xiàn)數(shù)據(jù)在不同應(yīng)用場景中的巨大價值：

“天然”大數(shù)據(jù)公司亞馬遜從海量購買數(shù)據(jù)中獲得信息、預(yù)測用戶行為；谷歌已成為網(wǎng)民的“意圖數(shù)據(jù)庫”；LinkedIn的獵頭價值；滴滴等出行、物流配送業(yè)務(wù)利用交易數(shù)據(jù)進(jìn)行實時定價，使利潤最大化；還有的借助大數(shù)據(jù)相關(guān)技術(shù)，創(chuàng)造出新的業(yè)務(wù)模式——比如利用算法做個性化內(nèi)容推薦的今日頭條、一點(diǎn)資訊……

“一旦進(jìn)入大數(shù)據(jù)的世界，企業(yè)的手中將握有無限可能。你會發(fā)現(xiàn)數(shù)據(jù)越大，結(jié)果越好。為什么有的企業(yè)在商業(yè)上不斷犯錯?那是因為他們沒有足夠的數(shù)據(jù)對運(yùn)營和決策提供支持?！?/p>

亞馬遜CTO Werner Vogels

數(shù)據(jù)人才的旺盛需求源自一個根本性的變化：科技公司現(xiàn)如今都成了數(shù)據(jù)公司。大到 BAT 等互聯(lián)網(wǎng)巨頭，小到創(chuàng)業(yè)公司，都在向數(shù)據(jù)驅(qū)動型企業(yè)轉(zhuǎn)變，挖掘數(shù)據(jù)、解讀數(shù)據(jù)、用數(shù)據(jù)洞察助力企業(yè)業(yè)務(wù)發(fā)展變得更加重要，導(dǎo)致行業(yè)內(nèi)人才的供給相對不足，薪資也非?？捎^。

*數(shù)據(jù)工程師平均薪資（取自2019/4/25，Glassdoor）

Glassdoor 最新數(shù)據(jù)顯示，美國數(shù)據(jù)工程師平均年薪為 116k 美金（約合月薪 6w+ 人民幣），比數(shù)據(jù)分析師高出60%。北美就業(yè)情況是中國的晴雨表，對比其他數(shù)據(jù)崗位，國內(nèi)的數(shù)據(jù)工程師需求急速上升。

2

數(shù)據(jù)工程師轉(zhuǎn)行人士占46%

隨著企業(yè)需求的增長，數(shù)據(jù)工程師數(shù)量也隨之急速增長，其中，接近一半的比例是從其他相關(guān)崗位轉(zhuǎn)行而來。越來越多的程序員、工程師轉(zhuǎn)而向大數(shù)據(jù)方向發(fā)展，不僅僅是崗位的高薪，也是為了順應(yīng)時代。并且從企業(yè)對數(shù)據(jù)人才的需求增長來看，這一趨勢并不會有所放緩。

* 數(shù)據(jù)工程師的崗位來源前 10，排名最高的分別是軟件工程師（41.67%）、分析師、咨詢師、商業(yè)分析師。數(shù)據(jù)來源：Stitch，點(diǎn)擊可查看大圖

大數(shù)據(jù)行業(yè)之所以轉(zhuǎn)行人士占比大，也是因為轉(zhuǎn)行的門檻相對不高：

首先，大數(shù)據(jù)本身的年齡不大。其他崗位動輒“10年開發(fā)經(jīng)驗”的要求比比皆是，但大數(shù)據(jù)相關(guān)崗位往往更看重能力，不會對工作年限有過高要求，無形之中為剛畢業(yè)的學(xué)生、轉(zhuǎn)行人士提供了很多機(jī)會。

其次，大多數(shù)企業(yè)對大數(shù)據(jù)人才需求并不明確。大數(shù)據(jù)不是單一的學(xué)科，需要多方向的內(nèi)容支撐。因此當(dāng)企業(yè)需求不明確時，很多人本來在從事軟件工程師、后端、甚至是算法等崗位，只需補(bǔ)充對應(yīng)的技術(shù)內(nèi)容，很容易轉(zhuǎn)型大數(shù)據(jù)方向，還有很多想成為數(shù)據(jù)科學(xué)家的人，通過數(shù)據(jù)工程師“曲線救國”。

3

需要走多少彎路，才能成為數(shù)據(jù)工程師？

回答這個問題之前，你首先要知道數(shù)據(jù)工程師需要做什么，各種新技術(shù)和產(chǎn)品的出現(xiàn)，數(shù)據(jù)工程師這個角色也發(fā)生了較大的變化。

幾年前的數(shù)據(jù)工程師，主要管理數(shù)據(jù)進(jìn)出數(shù)據(jù)庫，在 SQL 或 Procedural SQL 中創(chuàng)建管道，并在數(shù)據(jù)倉庫中加載數(shù)據(jù)，創(chuàng)建統(tǒng)一、標(biāo)準(zhǔn)化的數(shù)據(jù)集結(jié)構(gòu)以供后期分析。但 2018 年以來，他們不再僅僅為數(shù)據(jù)的后期分析提供支持，還要負(fù)責(zé)整個數(shù)據(jù)流，保證任何數(shù)據(jù)都能夠正常操作，并方便其他使用者獲取。

這里的新技術(shù)和新產(chǎn)品，主要指的是大數(shù)據(jù)及其相關(guān)技術(shù)、DOE、機(jī)器學(xué)習(xí)、Spark＆Real-time、云開發(fā)和無服務(wù)器等。

大數(shù)據(jù)：

2006年，Hadoop 的開源大大改變了數(shù)據(jù)格局，存儲大量數(shù)據(jù)變得更容易，更便宜。最初，在 Hadoop 上進(jìn)行開發(fā)非常復(fù)雜，需要用 Java 開發(fā) Map Reduce 作業(yè)。直到 2010 年 Hive 開源，更多傳統(tǒng)數(shù)據(jù)工程師才能更容易進(jìn)入這個大數(shù)據(jù)時代。

DOE：

隨著大數(shù)據(jù)的發(fā)展，大型互聯(lián)網(wǎng)公司面臨的最大挑戰(zhàn)是：缺少運(yùn)行復(fù)雜數(shù)據(jù)流的工具。Spotify 在2012年開源 Luigi，在 2015 年開源 Airbnb Airflow，這些編排引擎本質(zhì)上是把數(shù)據(jù)流作為代碼。Python 是大多數(shù)編排引擎的編譯語言。

機(jī)器學(xué)習(xí)：

在 Hadoop 出現(xiàn)之前，我們通常在一臺機(jī)器上訓(xùn)練機(jī)器學(xué)習(xí)模型，并且以非常特殊的方式進(jìn)行應(yīng)用。對于大型互聯(lián)網(wǎng)公司而言，需要利用先進(jìn)的軟件開發(fā)技術(shù)以更好地訓(xùn)練機(jī)器學(xué)習(xí)模型并應(yīng)用到生產(chǎn)中，比如使用 Mahout 之類的框架。

Spark＆Real-time：

2014 年 Spark 發(fā)布了用于 python 的 MLlib，也將大數(shù)據(jù)上的機(jī)器學(xué)習(xí)計算民主化。關(guān)于 Hadoop 和 Spark 的選擇問題，也一直在討論中。作為兩個頂級的 Apache 項目，Spark 在性能、成本、可用性、安全性和機(jī)器學(xué)習(xí)等多個角度，都比 Hadoop 略勝一籌，或許 Spark 在未來會成為大數(shù)據(jù)領(lǐng)域更年輕的“統(tǒng)治者”。

云開發(fā)和無服務(wù)器：

遷移到云對數(shù)據(jù)工程師而言有多重影響?！霸啤贝蚱屏宋锢硐拗?，對于大多數(shù)用戶而言，它意味著存儲和計算趨于無限化。這樣一來，就不再需要對服務(wù)器進(jìn)行不斷的優(yōu)化。而且，通過允許擴(kuò)展和減少資源來實現(xiàn)云，使得處理數(shù)據(jù)工程中典型的高峰批處理作業(yè)變得更加容易。

大數(shù)據(jù)行業(yè)，甚至是整個程序員行業(yè)，都是需要不停學(xué)習(xí)、不停經(jīng)歷技術(shù)迭代的，想要成為一名新時代下的數(shù)據(jù)工程師，就必須不斷學(xué)習(xí)新技術(shù)以適應(yīng)這快速的變化。

Udacity 全新上線的數(shù)據(jù)工程師納米學(xué)位課程，將幫助想要進(jìn)入該領(lǐng)域的人學(xué)到必備的專業(yè)技能，并在實際場景中進(jìn)行應(yīng)用，進(jìn)而找到理想的工作。

或許很多人對 Udacity 并不陌生。Udacity 由 Google X 實驗室的無人車之父 Sebastian Thrun 創(chuàng)立，課程與 Amazon、Google、Kaggle 等全球領(lǐng)先企業(yè)聯(lián)合開發(fā)。在 MOOC 發(fā)展較為成熟的美國，Udacity 為畢業(yè)生頒發(fā)的「納米學(xué)位」相當(dāng)于“名企敲門磚”。

2016 年登陸中國后，與更多中國企業(yè)達(dá)成合作，騰訊、京東、唯品會等互聯(lián)網(wǎng)名企，都將 Udacity 納米學(xué)位項目作為員工的內(nèi)部培訓(xùn)內(nèi)容，入職的 Udacity 畢業(yè)生甚至可以獲得公司的“學(xué)費(fèi)返還”，納米學(xué)位在中國的影響也在逐漸擴(kuò)大。