大數(shù)據(jù)工程師需要具備哪些能力

大數(shù)據(jù)是眼下非常時髦的技術(shù)名詞，與此同時自然也催生出了一些與大數(shù)據(jù)處理相關(guān)的職業(yè)，通過對數(shù)據(jù)的挖掘分析來影響企業(yè)的商業(yè)決策。

數(shù)據(jù)可視化

這群人在國外被叫做數(shù)據(jù)科學(xué)家（Data Scientist），這個頭銜最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他們后來分別成為了領(lǐng)英（LinkedIn）和Facebook數(shù)據(jù)科學(xué)團隊的負責人。而數(shù)據(jù)科學(xué)家這個職位目前也已經(jīng)在美國傳統(tǒng)的電信、零售、金融、制造、物流、醫(yī)療、教育等行業(yè)里開始創(chuàng)造價值。

雖然對于一些大公司來說，擁有碩博學(xué)歷的公司人是比較好的選擇，不過阿里巴巴集團研究員薛貴榮強調(diào)，學(xué)歷并不是最主要的因素，能有大規(guī)模處理數(shù)據(jù)的經(jīng)驗并且有喜歡在數(shù)據(jù)海洋中尋寶的好奇心會更適合這個工作。除此之外，一個優(yōu)秀的大數(shù)據(jù)工程師要具備一定的邏輯分析能力，并能迅速定位某個商業(yè)問題的關(guān)鍵屬性和決定因素。“他得知道什么是相關(guān)的，哪個是重要的，使用什么樣的數(shù)據(jù)是最有價值的，如何快速找到每個業(yè)務(wù)最核心的需求?！甭?lián)合國百度大數(shù)據(jù)聯(lián)合實驗室數(shù)據(jù)科學(xué)家沈志勇說。學(xué)習(xí)能力能幫助大數(shù)據(jù)工程師快速適應(yīng)不同的項目，并在短時間內(nèi)成為這個領(lǐng)域的數(shù)據(jù)專家;溝通能力則能讓他們的工作開展地更順利，我是一名大數(shù)據(jù)程序員，建了一個大數(shù)據(jù)資源共享群593188212 每天分享大數(shù)據(jù)學(xué)習(xí)資料和學(xué)習(xí)路線，給大家學(xué)習(xí)，交流。因為大數(shù)據(jù)工程師的工作主要分為兩種方式：由市場部驅(qū)動和由數(shù)據(jù)分析部門驅(qū)動，前者需要常常向產(chǎn)品經(jīng)理了解開發(fā)需求，后者則需要找運營部了解數(shù)據(jù)模型實際轉(zhuǎn)化的情況。

數(shù)據(jù)迷茫期

需要具備的能力

1.數(shù)學(xué)及統(tǒng)計學(xué)相關(guān)的背景

就我們采訪過的BAT三家互聯(lián)網(wǎng)大公司來說，對于大數(shù)據(jù)工程師的要求都是希望是統(tǒng)計學(xué)和數(shù)學(xué)背景的碩士或博士學(xué)歷。缺乏理論背景的數(shù)據(jù)工作者，更容易進入一個技能上的危險區(qū)域（Danger Zone）—一堆數(shù)字，按照不同的數(shù)據(jù)模型和算法總能捯飭出一些結(jié)果來，但如果你不知道那代表什么，就并不是真正有意義的結(jié)果，并且那樣的結(jié)果還容易誤導(dǎo)你?！爸挥芯邆湟欢ǖ睦碚撝R，才能理解模型、復(fù)用模型甚至創(chuàng)新模型，來解決實際問題?！鄙蛑居抡f。

2.計算機編碼能力

實際開發(fā)能力和大規(guī)模的數(shù)據(jù)處理能力是作為大數(shù)據(jù)工程師的一些必備要素。

舉例來說，現(xiàn)在人們在社交網(wǎng)絡(luò)上所產(chǎn)生的許多記錄都是非結(jié)構(gòu)化的數(shù)據(jù)，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數(shù)據(jù)工程師親自挖掘。即使在某些團隊中，大數(shù)據(jù)工程師的職責以商業(yè)分析為主，但也要熟悉計算機處理大數(shù)據(jù)的方式。

3.對特定應(yīng)用領(lǐng)域或行業(yè)的知識

大數(shù)據(jù)工程師這個角色很重要的一點是，不能脫離市場，因為大數(shù)據(jù)只有和特定領(lǐng)域的應(yīng)用結(jié)合起來才能產(chǎn)生價值。所以，在某個或多個垂直行業(yè)的經(jīng)歷能為應(yīng)聘者積累對行業(yè)的認知，對于之后成為大數(shù)據(jù)工程師有很大幫助，因此這也是應(yīng)聘這個崗位時較有說服力的加分項。