什么是大數(shù)據(jù)
大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵,在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。
隨著云時(shí)代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為,大數(shù)據(jù)(Big data)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時(shí)會花費(fèi)過多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起,因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。
大數(shù)據(jù)的意義
現(xiàn)在的社會是一個(gè)高速發(fā)展的社會,科技發(fā)達(dá),信息流通,人們之間的交流越來越密切,生活也越來越方便,大數(shù)據(jù)就是這個(gè)高科技時(shí)代的產(chǎn)物。
阿里巴巴創(chuàng)辦人馬云來臺演講中就提到,未來的時(shí)代將不是IT時(shí)代,而是DT的時(shí)代,DT就是Data Technology數(shù)據(jù)科技,顯示大數(shù)據(jù)對于阿里巴巴集團(tuán)來說舉足輕重。
有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數(shù)據(jù)并不在“大”,而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言,如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵。
大數(shù)據(jù)的價(jià)值體現(xiàn)在以下幾個(gè)方面:
1)對大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營銷
2) 做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型
3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時(shí)俱進(jìn)充分利用大數(shù)據(jù)的價(jià)值
大數(shù)據(jù)就業(yè)方向
大數(shù)據(jù)主要有三個(gè)就業(yè)方向,大數(shù)據(jù)系統(tǒng)研發(fā)類人才、大數(shù)據(jù)應(yīng)用開發(fā)類人才和大數(shù)據(jù)分析類人才。
在此三大方向中,各自的基礎(chǔ)崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師和數(shù)據(jù)分析師。又可分為以下十大職位:
一、ETL研發(fā)
ETL研發(fā),主要負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中,成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。
二、Hadoop開發(fā)
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數(shù)據(jù)的存儲,MapReduce提供了對數(shù)據(jù)的計(jì)算。隨著數(shù)據(jù)集規(guī)模不斷增大,而傳統(tǒng)BI的數(shù)據(jù)處理成本過高,企業(yè)對Hadoop及相關(guān)的廉價(jià)數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長。
三、可視化(前端展現(xiàn))工具開發(fā)
可視化開發(fā)就是在可視開發(fā)工具提供的圖形用戶界面上,通過操作界面元素,由可視開發(fā)工具自動生成應(yīng)用軟件。還可輕松跨越多個(gè)資源和層次連接您的所有數(shù) 據(jù),經(jīng)過時(shí)間考驗(yàn),完全可擴(kuò)展的,功能豐富全面的可視化組件庫為開發(fā)人員提供了功能完整并且簡單易用的組件集合,以用來構(gòu)建極其豐富的用戶界面。
四、信息架構(gòu)開發(fā)
大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素,確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識和數(shù)據(jù)建模等。
五、數(shù)據(jù)倉庫研究
數(shù)據(jù)倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數(shù)據(jù)一體機(jī)。能夠在這些一體機(jī)上完成數(shù)據(jù)集成、管理和性能優(yōu)化等工作。
六、OLAP開發(fā)
OLAP在線聯(lián)機(jī)分析開發(fā)者,負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來建立模型,然后創(chuàng)建數(shù)據(jù)訪問的用戶界面,提供高性能的預(yù)定義查詢功能。
七、數(shù)據(jù)科學(xué)研究
數(shù)據(jù)科學(xué)家是分析師、藝術(shù)家的合體,需要具備多種交叉科學(xué)和商業(yè)技能。
八、數(shù)據(jù)預(yù)測(數(shù)據(jù)挖掘)分析
營銷部門經(jīng)常使用預(yù)測分析預(yù)測用戶行為或鎖定目標(biāo)用戶。預(yù)測分析開發(fā)者有些場景看上有有些類似數(shù)據(jù)科學(xué)家,即在企業(yè)歷史數(shù)據(jù)的基礎(chǔ)上通過假設(shè)來測試閾值并預(yù)測未來的表現(xiàn)。
九、企業(yè)數(shù)據(jù)管理
企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進(jìn)行數(shù)據(jù)管理,并需要為此設(shè)立數(shù)據(jù)管家職位,這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周圍的大量數(shù)據(jù),并將數(shù)據(jù)清洗 和規(guī)范化,將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫中,成為一個(gè)可用的版本。然后,通過報(bào)表和分析技術(shù),數(shù)據(jù)被切片、切塊,并交付給成千上萬的人。擔(dān)當(dāng)數(shù)據(jù)管家的人,需要保證 市場數(shù)據(jù)的完整性,準(zhǔn)確性,唯一性,真實(shí)性和不冗余。
十、數(shù)據(jù)安全研究
數(shù)據(jù)安全這一職位,主要負(fù)責(zé)企業(yè)內(nèi)部大型服務(wù)器、存儲、數(shù)據(jù)安全管理工作,并對網(wǎng)絡(luò)、信息安全項(xiàng)目進(jìn)行規(guī)劃、設(shè)計(jì)和實(shí)施。數(shù)據(jù)安全研究員還需要具有較強(qiáng)的管理經(jīng)驗(yàn),具備運(yùn)維管理方面的知識和能力,對企業(yè)傳統(tǒng)業(yè)務(wù)有較深刻的理解,才能確保企業(yè)數(shù)據(jù)安全做到一絲不漏。
大數(shù)據(jù)人才發(fā)展前景
1. 人才缺口
全球最頂尖管理咨詢公司麥肯錫(McKinsey)出具的一份詳細(xì)分析報(bào)告顯示,大數(shù)據(jù)或者數(shù)據(jù)工作者的崗位需求將激增,其中大數(shù)據(jù)科學(xué)家的缺口在14萬到19萬之間,對于懂得如何利用大數(shù)據(jù)做決策的分析師和經(jīng)理的崗位缺口則將達(dá)到150萬!
2. 就業(yè)薪水
根據(jù)調(diào)查,目前北京地區(qū)大數(shù)據(jù)人才的平均工資為13680,月薪在15K以上的占41.4%。月薪6k-10k的占52.1%。
責(zé)任編輯:tzh
-
互聯(lián)網(wǎng)
+關(guān)注
關(guān)注
54文章
11073瀏覽量
102614 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8854瀏覽量
137212
發(fā)布評論請先 登錄
相關(guān)推薦
評論