什么是數(shù)據(jù)工程？數(shù)據(jù)工程師需要了解的事情

“這一刻你正在應(yīng)對(duì)什么挑戰(zhàn)？”這位前研究學(xué)者回應(yīng)道：“嗯，我好像應(yīng)聘成為首席數(shù)據(jù)科學(xué)家了，在一個(gè)沒有數(shù)據(jù)的公司里?！?/p>

這件事讓人啼笑皆非。離開了數(shù)據(jù)，數(shù)據(jù)科學(xué)家的存在毫無意義。這可不是件個(gè)例。本文將討論一些胸懷大志的數(shù)據(jù)科學(xué)家們（以及他們將來的雇主）真正需要了解的事情。

什么是數(shù)據(jù)工程？

如果數(shù)據(jù)科學(xué)是讓數(shù)據(jù)變得有用的一門學(xué)科，那么可以想像數(shù)據(jù)工程是將數(shù)據(jù)變得能用的一門學(xué)問。數(shù)據(jù)工程師們是提供幕后基礎(chǔ)設(shè)施支持的英雄們，這些基礎(chǔ)設(shè)施讓機(jī)器能夠記錄工作，讓海量的數(shù)據(jù)與數(shù)據(jù)科學(xué)工具包兼容儲(chǔ)存。

圖源：LinkedIn

與數(shù)據(jù)科學(xué)家不同，數(shù)據(jù)工程師們更傾向于不花費(fèi)那么多的時(shí)間研究數(shù)據(jù)。與此相反，他們研究并處理那些承載數(shù)據(jù)的基礎(chǔ)設(shè)施。數(shù)據(jù)科學(xué)家是數(shù)據(jù)的管理者，而數(shù)據(jù)工程師們是對(duì)數(shù)據(jù)管道進(jìn)行管理的人。

圖源：hackernoon

數(shù)據(jù)工程有三種主要工作方式：

· 使數(shù)據(jù)大規(guī)模地儲(chǔ)存（數(shù)據(jù)庫）和傳輸（數(shù)據(jù)管道）。

· 維護(hù)那些支持企業(yè)運(yùn)作的數(shù)據(jù)流。

· 為數(shù)據(jù)科學(xué)提供數(shù)據(jù)集。

如果沒有數(shù)據(jù)，你無法研究數(shù)據(jù)科學(xué)。如果你被一個(gè)沒有數(shù)據(jù)和數(shù)據(jù)工程的機(jī)構(gòu)聘用為數(shù)據(jù)科學(xué)總監(jiān)，猜猜誰將會(huì)成為一名數(shù)據(jù)工程師？

數(shù)據(jù)工程的艱難之處在哪？

食品進(jìn)購是件簡單的事，如果你只是煮你一個(gè)人的晚餐還好說，但規(guī)模擴(kuò)大會(huì)將這件瑣事變得復(fù)雜無比——你該如何獲得，存儲(chǔ)和處理20噸的冰淇淋，且讓它一點(diǎn)都沒有融化？

相似地，“數(shù)據(jù)工程”在你為學(xué)校項(xiàng)目下載一個(gè)小的電子數(shù)據(jù)表時(shí)是相當(dāng)容易的，但當(dāng)你在處理千萬億字節(jié)規(guī)模的文件時(shí)就會(huì)讓人頭暈眼花。規(guī)模使其本身成為一個(gè)復(fù)雜的工程學(xué)科。

不幸的是，了解這兩個(gè)學(xué)科其中之一并不代表著你就對(duì)另一個(gè)的知識(shí)有所了解。

如果你有了跑去學(xué)習(xí)兩個(gè)學(xué)科的沖動(dòng)，你可能成為了那個(gè)（令人倍有壓力且適得其反的）信念的受害者——數(shù)據(jù)專家們必須對(duì)數(shù)據(jù)的所有事項(xiàng)都有所了解。數(shù)據(jù)宇宙正在飛速地?cái)U(kuò)展著，現(xiàn)在是時(shí)候讓人們意識(shí)到這個(gè)領(lǐng)域有多么廣闊了，在數(shù)據(jù)領(lǐng)域的某個(gè)領(lǐng)域工作并不自動(dòng)要求人們?nèi)コ蔀槿艿膶＜摇?/p>

講這么多就是為了說明，這門學(xué)科包含了太多的知識(shí)，以至于最有決心的天才也無法全部理解和掌握。與其希望數(shù)據(jù)工程師們?nèi)?，不如問問彼此（也問問自己），“你是哪一類人？”讓我們齊心協(xié)力一起工作，而不是在這條路上孤軍奮斗。

但這不是一個(gè)絕佳的學(xué)習(xí)機(jī)會(huì)嗎？可能是。這取決于你對(duì)已知的學(xué)問有多大的感情。數(shù)據(jù)工程不同于數(shù)據(jù)科學(xué)，所以如果你是個(gè)未經(jīng)受過數(shù)據(jù)工程訓(xùn)練的數(shù)據(jù)科學(xué)家，那么你得從零開始。

這可能正是你所尋求的樂趣——只要你帶著開放的眼光一路前行。建立你的數(shù)據(jù)工程團(tuán)隊(duì)可能要花費(fèi)好幾年的時(shí)間。當(dāng)然，有理由去學(xué)習(xí)新事物是件好事，但相同的是，你的數(shù)據(jù)科學(xué)“肌肉”可能會(huì)因此萎縮。

作為一個(gè)類比，想象你是一位能流利使用英日兩語的譯者。你被提供了一個(gè)叫做“譯者”的職位。當(dāng)你來到崗位工作時(shí)，你發(fā)現(xiàn)你被聘來進(jìn)行將普通話譯為斯瓦希里語的工作，而這兩種語言你都不會(huì)說。抓住機(jī)會(huì)成為一個(gè)四語達(dá)人可能是一件振奮人心且有益的事情，但請(qǐng)從現(xiàn)實(shí)的角度來思考你該如何有效地利用初級(jí)培訓(xùn)。

換句話來說，如果一個(gè)公司沒有任何的數(shù)據(jù)或者數(shù)據(jù)工程師，那么接受首席數(shù)據(jù)科學(xué)家的工作會(huì)在你組建數(shù)據(jù)工程團(tuán)隊(duì)時(shí)，為了成為一個(gè)數(shù)據(jù)工程師（你很可能還未達(dá)標(biāo)），將你的數(shù)據(jù)科學(xué)家生涯擱置好幾年的時(shí)間。

最終，你會(huì)很驕傲地看著你所建的團(tuán)隊(duì)，然后意識(shí)到你不再需要親自去處理那些細(xì)枝末節(jié)。那時(shí)你的團(tuán)隊(duì)已經(jīng)能夠成熟應(yīng)對(duì)那些絕妙的神經(jīng)網(wǎng)絡(luò)或者你讀博時(shí)研究的復(fù)雜巧妙的貝葉斯定理推論，你就只能袖手旁觀，看著他人完成目標(biāo)。

給你一些小建議

· 弄清你正在接手的事物

如果你在考慮接受一個(gè)成為數(shù)據(jù)科學(xué)總管的工作，你第一個(gè)應(yīng)該提出的問題是：“誰來保證我的團(tuán)隊(duì)有數(shù)據(jù)能研究？”如果答案是你，嗯，至少你將知道自己的簽約將意味著什么。

· 請(qǐng)記住你是顧客

既然數(shù)據(jù)科學(xué)受數(shù)據(jù)支配，只有數(shù)據(jù)工程師們作為同事可能并不夠。如果那些同事們沒能將你認(rèn)定為他們工作的一個(gè)關(guān)鍵客戶，你將面對(duì)的是一個(gè)艱難的斗爭(zhēng)。如果他們的態(tài)度讓你更多的感受到自己是一個(gè)博物館策展人，為了數(shù)據(jù)而保存數(shù)據(jù)，那這可不是一個(gè)好兆頭。

· 要有全局觀

誠然你是數(shù)據(jù)工程師們的關(guān)鍵客戶，但很可能你并不是他們的唯一客戶?，F(xiàn)代企業(yè)使用數(shù)據(jù)推動(dòng)業(yè)務(wù)發(fā)展，通常情況下，無需人為干預(yù)，數(shù)據(jù)就能很好地運(yùn)轉(zhuǎn)。當(dāng)你對(duì)公司的貢獻(xiàn)只是“可有可無”時(shí)，表現(xiàn)得好像世界都是圍繞著你和你的團(tuán)隊(duì)轉(zhuǎn)的，這是不明智的。

· 堅(jiān)持問責(zé)

在登記你新的十億字節(jié)之前，考慮與數(shù)據(jù)工程同事協(xié)商，讓他們對(duì)與你的合作負(fù)責(zé)。如果他們沒有將你拒之門外的反應(yīng)，你的團(tuán)隊(duì)就不太可能蓬勃發(fā)展。
編輯：hfy