數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師能合二為一嗎？

越來越多的企業(yè)關(guān)注AI，企業(yè)組織也意識(shí)到擁有相關(guān)人才和技能非常重要。特別是最近對(duì)AI、機(jī)器學(xué)習(xí)（ML）、非ML預(yù)測(cè)分析和“大數(shù)據(jù)”的應(yīng)用，使得數(shù)據(jù)科學(xué)家的需求有了顯著的增長(zhǎng)，未來還將繼續(xù)。事實(shí)上，對(duì)數(shù)據(jù)科學(xué)家的巨大需求導(dǎo)致許多企業(yè)和組織出現(xiàn)了人才短缺，然而，80%的AI項(xiàng)目與數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)工程有關(guān)，也許企業(yè)組織應(yīng)該尋找更多的數(shù)據(jù)工程師而不是數(shù)據(jù)科學(xué)家？

許多企業(yè)、供應(yīng)商和初創(chuàng)企業(yè)常?；煜龜?shù)據(jù)科學(xué)家和數(shù)據(jù)工程師，雖然二者有相似之處，但是其工作內(nèi)容有很大不同，其中包含兩個(gè)迥異的技能，魚與熊掌不易兼得。

數(shù)據(jù)科學(xué)家vs數(shù)據(jù)工程師

在2000年代中期，數(shù)據(jù)科學(xué)家職位開始出現(xiàn)，O’Reilly在文章中提到：“對(duì)數(shù)據(jù)科學(xué)家需求的增長(zhǎng)是由大型互聯(lián)網(wǎng)公司驅(qū)動(dòng)的。谷歌、Facebook、LinkedIn和亞馬遜都以創(chuàng)造性地使用數(shù)據(jù)而聞名：不僅僅是儲(chǔ)存數(shù)據(jù)，還將其轉(zhuǎn)化為價(jià)值。毫無疑問，任何希望從數(shù)據(jù)中獲得價(jià)值的企業(yè)組織都在關(guān)注數(shù)據(jù)科學(xué)和數(shù)據(jù)科學(xué)家。

數(shù)據(jù)科學(xué)家起源于統(tǒng)計(jì)建模和數(shù)據(jù)分析的發(fā)展，具有高級(jí)數(shù)學(xué)和統(tǒng)計(jì)、高級(jí)分析以及越來越多的機(jī)器學(xué)習(xí)/人工智能的背景。毫無疑問，數(shù)據(jù)科學(xué)家的重點(diǎn)是數(shù)據(jù)科學(xué)，也就是說，如何從海量數(shù)據(jù)中提取有用的信息，以及如何將業(yè)務(wù)和科學(xué)信息需求轉(zhuǎn)化為信息和數(shù)學(xué)語言。為了能從海量信息中獲得見解，數(shù)據(jù)科學(xué)家需要掌握統(tǒng)計(jì)學(xué)、概率、數(shù)學(xué)和算法知識(shí)。這些數(shù)據(jù)科學(xué)家通常只是為了運(yùn)行程序、對(duì)數(shù)據(jù)進(jìn)行高級(jí)分析這類特定需要而學(xué)習(xí)編程，因此，數(shù)據(jù)科學(xué)家通常只寫最少最簡(jiǎn)易的代碼，能完成數(shù)據(jù)科學(xué)任務(wù)以及提供干凈的數(shù)據(jù)進(jìn)行分析即可。數(shù)據(jù)科學(xué)家創(chuàng)建假設(shè)，對(duì)數(shù)據(jù)進(jìn)行測(cè)試和分析，然后將其結(jié)果以便于查看和理解的形式呈現(xiàn)給組織中的其他人。

但是如果沒有大量的干凈數(shù)據(jù)，數(shù)據(jù)科學(xué)家就無法完成自身工作。提取、清理和移動(dòng)數(shù)據(jù)實(shí)際上并不是數(shù)據(jù)科學(xué)家的職責(zé)，而是數(shù)據(jù)工程師的職責(zé)。數(shù)據(jù)工程師擁有編程、技術(shù)方面的專業(yè)知識(shí)，以前曾參與過數(shù)據(jù)集成、中間件、分析、業(yè)務(wù)數(shù)據(jù)門戶和ETL操作。數(shù)據(jù)工程師的重心和技能集中在大數(shù)據(jù)和分布式系統(tǒng)上，可以使用Java、Python、Scala等編程語言腳本工具，擁有技術(shù)經(jīng)驗(yàn)。數(shù)據(jù)工程師面臨的挑戰(zhàn)是如何從各種各樣的系統(tǒng)中獲取結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，解決不“干凈”的數(shù)據(jù)例如字段缺失、數(shù)據(jù)類型不匹配等與數(shù)據(jù)相關(guān)的問題。數(shù)據(jù)工程師要使用編程、集成、體系結(jié)構(gòu)和系統(tǒng)技能來清理所有數(shù)據(jù)，并將其放入一種格式和系統(tǒng)中，然后數(shù)據(jù)科學(xué)家就可以使用該格式和系統(tǒng)來分析、建立數(shù)據(jù)模型并為組織提供價(jià)值。數(shù)據(jù)工程師的角色就是設(shè)計(jì)、構(gòu)建和安排數(shù)據(jù)的工程師。

數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師能合二為一嗎？

雖然數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的角色似乎截然不同，但數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師有許多共同的特點(diǎn)和共技能。這些重疊的技能包括處理和操作大數(shù)據(jù)集、應(yīng)用數(shù)據(jù)的編程技能、數(shù)據(jù)分析技能以及對(duì)系統(tǒng)操作的總體熟練程度。

盡管有很多共性重疊的部分，但是數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的工作重點(diǎn)仍有差異，因此不太可能兩個(gè)角色合二為一。更重要的是，在招聘數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師時(shí)，要確保問對(duì)了問題，從候選人身上找到正確的技能。

更重要的是，隨著數(shù)據(jù)科學(xué)興起的代碼學(xué)院、研討會(huì)和培訓(xùn)班引出了新問題：這些培訓(xùn)和代碼學(xué)院的重點(diǎn)是數(shù)據(jù)科學(xué)背后的科學(xué)，還是數(shù)據(jù)工程背后的工程、編程，更糟的是，這些活動(dòng)是否只是泛泛研究了一點(diǎn)囫圇吞棗地教學(xué)而混淆了細(xì)分的需求，比如應(yīng)該關(guān)注大數(shù)據(jù)和ML分析的哪些領(lǐng)域？

雖然看起來您可以在科學(xué)角色中做一點(diǎn)工程工作，或者在工程角色中做一點(diǎn)科學(xué)工作，但是混合角色可能會(huì)不利于企業(yè)組織在ML或數(shù)據(jù)科學(xué)的成功。那些被迫從事數(shù)據(jù)工程工作而沒有相關(guān)背景、技能或資質(zhì)的數(shù)據(jù)科學(xué)家很容易錯(cuò)誤配置、誤用技術(shù)，或者編寫效率低、成本高、浪費(fèi)時(shí)間的程序。同樣地，要求從根本上具有工程背景的人學(xué)習(xí)復(fù)雜的數(shù)據(jù)科學(xué)數(shù)學(xué)，可能會(huì)導(dǎo)致組織對(duì)其信息得出錯(cuò)誤的結(jié)論，產(chǎn)生災(zāi)難性結(jié)果。專業(yè)化是很重要的，好比醫(yī)生要做檢查，抽血師負(fù)責(zé)抽血。醫(yī)生可以為你抽血，抽血師可以了解化驗(yàn)結(jié)果，但你為什么要拿自己的舒適和健康去冒險(xiǎn)呢？

數(shù)據(jù)科學(xué)家在企業(yè)組織中處于什么位置？

為了從數(shù)據(jù)中獲得價(jià)值，大多數(shù)企業(yè)組織都需要數(shù)據(jù)科學(xué)和數(shù)據(jù)工程，由于相關(guān)技能有很大差異，二者合體也不太現(xiàn)實(shí)。企業(yè)組織可能需要多個(gè)數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師，但兩者之間的比例很少是1:1。對(duì)于大多數(shù)企業(yè)組織來說，擁有更多的數(shù)據(jù)工程師比數(shù)據(jù)科學(xué)家更有意義。因?yàn)閿?shù)據(jù)科學(xué)家已經(jīng)學(xué)會(huì)處理大量的干凈數(shù)據(jù)，但是從許多不同系統(tǒng)獲得大量的干凈數(shù)據(jù)更難也更具挑戰(zhàn)。與抽象數(shù)據(jù)模型和對(duì)數(shù)據(jù)集運(yùn)行分析相比，移動(dòng)和清理數(shù)據(jù)的工作量更大。

此外，數(shù)據(jù)科學(xué)家在企業(yè)組織應(yīng)該向誰報(bào)告可能是錯(cuò)的，有的數(shù)據(jù)科學(xué)家向技術(shù)團(tuán)隊(duì)報(bào)告，這是沒有意義的。數(shù)據(jù)科學(xué)家通常不會(huì)詢問特定技術(shù)的實(shí)施和數(shù)據(jù)分析，其所面臨的挑戰(zhàn)特定的業(yè)務(wù)線。因此，數(shù)據(jù)科學(xué)家應(yīng)該向業(yè)務(wù)戰(zhàn)略決策相關(guān)人員報(bào)告。

有以業(yè)務(wù)為中心的工具嗎？

如果數(shù)據(jù)科學(xué)和數(shù)據(jù)工程確實(shí)是組織中獨(dú)立的角色，那么將它們所需的工具應(yīng)該是分開的。許多進(jìn)入數(shù)據(jù)科學(xué)/機(jī)器學(xué)習(xí)領(lǐng)域的供應(yīng)商正在混淆視聽，使事情變得更加混亂。他們聲稱工具是為數(shù)據(jù)科學(xué)家準(zhǔn)備的，但是其一切主要功能和特性都是為數(shù)據(jù)工程師準(zhǔn)備的，在上面點(diǎn)綴一些數(shù)據(jù)科學(xué)的特性是沒有意義的。對(duì)于數(shù)據(jù)科學(xué)家來說，需要一個(gè)分析的、面向數(shù)據(jù)的、以模型為中心的工具，而不是在數(shù)據(jù)清理、移動(dòng)數(shù)據(jù)和將數(shù)據(jù)從私有環(huán)境遷移到云環(huán)境等方面的工具。這就像給一個(gè)駕駛教練一輛車的零件，然后說：“自己造這輛車，然后教別人如何駕駛它?！?/p>

數(shù)據(jù)科學(xué)家需要的是以數(shù)據(jù)科學(xué)為中心的工具，而不是以工程和編程為中心的工具。現(xiàn)在，這些工具越來越多，讓數(shù)據(jù)科學(xué)家可以進(jìn)行數(shù)據(jù)挖掘或預(yù)測(cè)分析。然而，隨著數(shù)據(jù)科學(xué)家越來越深入業(yè)務(wù)領(lǐng)域，以業(yè)務(wù)為中心的工具是更合適的，例如，幾十年前，如果您希望以類似電子表格的格式操作大量數(shù)據(jù)，這就涉及到編程，但是像Excel這樣的工具引入了數(shù)據(jù)透視表這樣的東西，現(xiàn)在業(yè)務(wù)經(jīng)理能夠執(zhí)行各種分析。Excel等工具將數(shù)據(jù)科學(xué)功能或以業(yè)務(wù)為中心的數(shù)據(jù)挖掘和分析工具嵌入到產(chǎn)品中只是時(shí)間問題。

隨著數(shù)據(jù)科學(xué)家的人才缺口繼續(xù)擴(kuò)大，新的工具將會(huì)出現(xiàn)，這些工具是為了允許非技術(shù)人員（即業(yè)務(wù)人員）運(yùn)行、測(cè)試和分析數(shù)據(jù)而創(chuàng)建的，戰(zhàn)略業(yè)務(wù)經(jīng)理將開始學(xué)習(xí)數(shù)據(jù)科學(xué)，數(shù)據(jù)科學(xué)家仍然需要運(yùn)行非常復(fù)雜的數(shù)據(jù)分析工具。然而，隨著越來越多易用工具的出現(xiàn)，大多數(shù)情況下基本分析將更多地轉(zhuǎn)移到業(yè)務(wù)方。企業(yè)中ML和數(shù)據(jù)科學(xué)相關(guān)工具和技術(shù)也越來越大有可為。