大數(shù)據(jù)工程師的工作內(nèi)容有哪些

大數(shù)據(jù)工程師工作內(nèi)容取決于你工作在數(shù)據(jù)流的哪一個環(huán)節(jié)。

從數(shù)據(jù)上游到數(shù)據(jù)下游，大致可以分為：

數(shù)據(jù)采集 -》 數(shù)據(jù)清洗 -》 數(shù)據(jù)存儲 -》 數(shù)據(jù)分析統(tǒng)計 -》 數(shù)據(jù)可視化 等幾個方面

工作內(nèi)容當然就是使用工具組件（Spark、Flume、Kafka等）或者代碼（Java、Scala等）來實現(xiàn)上面幾個方面的功能。

很多初學(xué)者，對大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學(xué)的時候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)qq群：522189307，有大量干貨（零基礎(chǔ)以及進階的經(jīng)典實戰(zhàn)）分享給大家，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費授課，給大家分享目前國內(nèi)最完整的大數(shù)據(jù)高端實戰(zhàn)實用學(xué)習(xí)流程體系

具體說說吧，

數(shù)據(jù)采集：

業(yè)務(wù)系統(tǒng)的埋點代碼時刻會產(chǎn)生一些分散的原始日志，可以用Flume監(jiān)控接收這些分散的日志，實現(xiàn)分散日志的聚合，即采集。

數(shù)據(jù)清洗：

原始的日志，數(shù)據(jù)是千奇百怪的

一些字段可能會有異常取值，即臟數(shù)據(jù)。為了保證數(shù)據(jù)下游的“數(shù)據(jù)分析統(tǒng)計”能拿到比較高質(zhì)量的數(shù)據(jù)，需要對這些記錄進行過濾或者字段數(shù)據(jù)回填。

一些日志的字段信息可能是多余的，下游不需要使用到這些字段做分析，同時也為了節(jié)省存儲開銷，需要刪除這些多余的字段信息。

一些日志的字段信息可能包含用戶敏感信息，需要做脫敏處理。如用戶姓名只保留姓，名字用‘*’字符替換。

數(shù)據(jù)存儲：

清洗后的數(shù)據(jù)可以落地入到數(shù)據(jù)倉庫（Hive），供下游做離線分析。如果下游的“數(shù)據(jù)分析統(tǒng)計”對實時性要求比較高，則可以把日志記錄入到kafka。

數(shù)據(jù)分析統(tǒng)計：

數(shù)據(jù)分析是數(shù)據(jù)流的下游，消費來自上游的數(shù)據(jù)。其實就是從日志記錄里頭統(tǒng)計出各種各樣的報表數(shù)據(jù)，簡單的報表統(tǒng)計可以用sql在kylin或者hive統(tǒng)計，復(fù)雜的報表就需要在代碼層面用Spark、Storm做統(tǒng)計分析。一些公司好像會有個叫BI的崗位是專門做這一塊的。

數(shù)據(jù)可視化：

用數(shù)據(jù)表格、數(shù)據(jù)圖等直觀的形式展示上游“數(shù)據(jù)分析統(tǒng)計”的數(shù)據(jù)。一般公司的某些決策會參考這些圖表里頭的數(shù)據(jù)~

當然，大數(shù)據(jù)平臺（如CDH、FusionInsight等）搭建與維護，也可能是大數(shù)據(jù)工程師工作內(nèi)容的一部分喔~