25個(gè)大數(shù)據(jù)術(shù)語概念解析

如果你初來乍到，大數(shù)據(jù)看起來很嚇人！根據(jù)你掌握的基本理論，讓我們專注于一些關(guān)鍵術(shù)語以此給你的約會(huì)對象、老板、家人或者任何一個(gè)人帶來深刻的印象。

讓我們開始吧：

1.算法。“算法”如何與大數(shù)據(jù)相關(guān)？即使算法是一個(gè)通用術(shù)語，但大數(shù)據(jù)分析使其在當(dāng)代更受青睞和流行。

2.分析。年末你可能會(huì)收到一份來自信用卡公司寄來的包含了全年所有交易記錄的年終報(bào)表。如果你有興趣進(jìn)一步分析自己在食物、衣服、娛樂等方面具體花費(fèi)占比呢？那你便是在做“分析”了。你正從一堆原始數(shù)據(jù)中來吸取經(jīng)驗(yàn)，以幫助自己為來年的消費(fèi)做出決策。如果你正在針對整個(gè)城市人群對Twitter或Facebook的帖子做同樣的練習(xí)呢？那我們便是在討論大數(shù)據(jù)分析了。大數(shù)據(jù)分析的實(shí)質(zhì)是利用大量數(shù)據(jù)來進(jìn)行推斷和講故事。大數(shù)據(jù)分析有3種不同到的類型，接下來便繼續(xù)本話題進(jìn)行依次討論。

3.描述性分析。剛剛?cè)绻愀嬖V我，去年你的信用卡消費(fèi)在食物上花費(fèi)了25%、在服裝上花費(fèi)了35%、娛樂活動(dòng)上花費(fèi)了20%、剩下的就是雜七雜八的事項(xiàng)，這種便是描述性分析。當(dāng)然你還可以參考更多的細(xì)節(jié)。

4.預(yù)測分析。如果你根據(jù)過去5年的信用卡歷史記錄來進(jìn)行分析，并且劃分具有一定的連續(xù)性，則你可以高概率預(yù)測明年將與過去幾年相差無幾。此處需要注意的細(xì)節(jié)是，這并不是“預(yù)測未來”，而是未來可能會(huì)發(fā)生的“概率”。在大數(shù)據(jù)預(yù)測分析中，數(shù)據(jù)科學(xué)家可能會(huì)使用類似機(jī)器學(xué)習(xí)、高級的統(tǒng)計(jì)過程（后文將對這些術(shù)語進(jìn)行介紹）等先進(jìn)的技術(shù)去預(yù)測天氣、經(jīng)濟(jì)變化等。

5.規(guī)范分析。沿用信用卡交易的案例，你可能想要找出哪方面的支出（級食品、服裝、娛樂等）對自己的整體支出產(chǎn)生巨大的影響。規(guī)范分析建立在預(yù)測分析的基礎(chǔ)之上，包含了“行動(dòng)”記錄（例如減少食品、服裝、娛樂支出），并分析所得結(jié)果來“規(guī)定”最佳類別以減少總體支出。你可以嘗試將其發(fā)散到大數(shù)據(jù)，并設(shè)想高管們?nèi)绾瓮ㄟ^查看各種行動(dòng)的影響來做出數(shù)據(jù)驅(qū)動(dòng)的決策。

6.批處理。雖然批量數(shù)據(jù)處理在大型機(jī)時(shí)代就早已出現(xiàn)，但大數(shù)據(jù)交給它更多大數(shù)據(jù)集處理，因此賦予了批處理更多的意義。對于一段時(shí)間內(nèi)收集到的一組事務(wù)，批量數(shù)據(jù)處理為處理大量數(shù)據(jù)提供了一種有效的方法。后文將介紹的Hadoop便是專注于批量數(shù)據(jù)處理。超越批處理的世界：流計(jì)算 使用Spark SQL構(gòu)建批處理程序。

7. Cassandra是由Apache Software Foundation管理的一款流行的開源數(shù)據(jù)庫管理系統(tǒng)。很多大數(shù)據(jù)技術(shù)都?xì)w功于Apache，其中Cassandra的設(shè)計(jì)初衷便是處理跨分布式服務(wù)器的大量數(shù)據(jù)。

8. 云計(jì)算。顯而易見云計(jì)算已經(jīng)變得無所不在，所以本文可能無須贅述，但為了文章的完整性還是佐以介紹。云計(jì)算的本質(zhì)是在遠(yuǎn)程服務(wù)器上運(yùn)行的軟件和（/或）數(shù)據(jù)托管，并允許從互聯(lián)網(wǎng)上的任何地方進(jìn)行訪問。

9. 集群計(jì)算。它是一種利用多臺服務(wù)器的匯集資源的“集群”來進(jìn)行計(jì)算的奇特方式。在了解了更多技術(shù)之后，我們可能還會(huì)討論節(jié)點(diǎn)、集群管理層、負(fù)載平衡和并行處理等。

10. 黑暗數(shù)據(jù)。依我看來，這個(gè)詞適用于那些嚇得六神無主的高級管理層們。從根本上來說，黑暗數(shù)據(jù)是指那些被企業(yè)收集和處理但又不用于任何有意義用途的數(shù)據(jù)，因此描述它是“黑暗的”，它們可能永遠(yuǎn)被埋沒。它們可能是社交網(wǎng)絡(luò)信息流、呼叫中心日志、會(huì)議筆記，諸如此類。人們做出了諸多估計(jì)，在60-90%的所有企業(yè)數(shù)據(jù)都可能是“黑暗數(shù)據(jù)”，但無人真正知曉。

11. 數(shù)據(jù)湖。當(dāng)我第一次聽到這個(gè)詞的時(shí)候，我真的以為有人在開愚人節(jié)的玩笑。但它真的是個(gè)術(shù)語！數(shù)據(jù)湖是一個(gè)原始格式的企業(yè)級數(shù)據(jù)的大型存儲(chǔ)庫。雖然此處討論的是數(shù)據(jù)湖，但有必要再一起討論下數(shù)據(jù)倉庫，因?yàn)閿?shù)據(jù)湖和數(shù)據(jù)倉庫在概念上是極其相似的，都是企業(yè)級數(shù)據(jù)的存儲(chǔ)庫，但在清理和與其他數(shù)據(jù)源集成之后的結(jié)構(gòu)化格式上有所區(qū)別。數(shù)據(jù)倉庫常用于常規(guī)數(shù)據(jù)（但不完全）。據(jù)說數(shù)據(jù)湖能夠讓用戶輕松訪問企業(yè)級數(shù)據(jù)，用戶真正按需知道自己正在尋找的是什么、如何處理并讓其智能化使用。擁抱開源技術(shù)的前提——認(rèn)識數(shù)據(jù)湖 你知道數(shù)據(jù)湖泊（DATA LAKE）嗎？

12. 數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是指利用復(fù)雜的模式識別技術(shù)從大量數(shù)據(jù)中找到有意義的模式、提取見解。這與我們前文討論的使用個(gè)人數(shù)據(jù)做分析的術(shù)語“分析”密切相關(guān)。為了提取出有意義的模式，數(shù)據(jù)挖掘者使用統(tǒng)計(jì)學(xué)（是呀，好老的數(shù)學(xué)）、機(jī)器學(xué)習(xí)算法和人工智能。

13.數(shù)據(jù)科學(xué)家。我們談?wù)摰氖且粋€(gè)如此熱門的職業(yè)！數(shù)據(jù)科學(xué)家們可以通過提取原始數(shù)據(jù)（難道是從前文所說的數(shù)據(jù)湖中提取的？），處理數(shù)據(jù)，然后提出新見解。數(shù)據(jù)科學(xué)家所需具備的一些技能與超人無異：分析、統(tǒng)計(jì)、計(jì)算機(jī)科學(xué)、創(chuàng)造力、故事講述和理解業(yè)務(wù)環(huán)境。難怪他們能獲得如此高的薪水報(bào)酬。

14.分布式文件系統(tǒng)。由于大數(shù)據(jù)太大而無法在單個(gè)系統(tǒng)上進(jìn)行存儲(chǔ)，分布式文件系統(tǒng)提供一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，方便跨多個(gè)存儲(chǔ)設(shè)備進(jìn)行大量數(shù)據(jù)的存放，并有助于降低大量數(shù)據(jù)存儲(chǔ)的成本和復(fù)雜度。

15. ETL。ETL分別是extract，transform，load的首字母縮寫，代表提取、轉(zhuǎn)化和加載的過程。 它具體是指“提取”原始數(shù)據(jù)，通過數(shù)據(jù)清洗/修飾的方式進(jìn)行“轉(zhuǎn)化”以獲得 “適合使用”的數(shù)據(jù)，進(jìn)而“加載”到合適的存儲(chǔ)庫中供系統(tǒng)使用的整個(gè)過程。盡管ETL這一概念源于數(shù)據(jù)倉庫，但現(xiàn)在也適用于其它情景下的過程，例如在大數(shù)據(jù)系統(tǒng)中從外部數(shù)據(jù)源獲取/吸收數(shù)據(jù)。我們需要什么樣的ETL？

工程師要不要寫ETL？——教你構(gòu)建高效的算法/數(shù)據(jù)科學(xué)部門 ETL的經(jīng)驗(yàn)總結(jié)

16. Hadoop。人們一想起大數(shù)據(jù)就能立即想到Hadoop。 Hadoop（擁有可愛的大象LOGO）是一個(gè)開源軟件框架，主要組成部分是Hadoop分布式文件系統(tǒng)（HDFS），Hadoop部署了分布式硬件以支持大型數(shù)據(jù)集的存儲(chǔ)、檢索和分析。如果你真的想給別人留下深刻的印象，還可以談?wù)刌ARN（Yet Another Resource Schedule，另一個(gè)資源調(diào)度器），正如其名，它也是一個(gè)資源調(diào)度器。我由衷佩服這些為程序命名的人。為Hadoop命名的Apache基金會(huì)還想出了Pig，Hive和Spark（沒錯(cuò)，它們都是各種軟件的名稱）。這些名字難道不讓你感到印象深刻嗎？

17. 內(nèi)存計(jì)算。一般來說，任何可以在不訪問I / O的情況下進(jìn)行的計(jì)算預(yù)計(jì)會(huì)比需要訪問I/O的速度更快。內(nèi)存內(nèi)計(jì)算是一種能夠?qū)⒐ぷ鲾?shù)據(jù)集完全轉(zhuǎn)移到集群的集體內(nèi)存中、并避免了將中間計(jì)算寫入磁盤的技術(shù)。Apache Spark便是一種內(nèi)存內(nèi)計(jì)算系統(tǒng)，它與I / O相比，在像Hadoop MapReduce這樣的系統(tǒng)上綁定具有巨大的優(yōu)勢。

18. IOT。最新的流行語是物聯(lián)網(wǎng)（Internet of things，簡稱IOT）。IOT是通過互聯(lián)網(wǎng)將嵌入式對象（傳感器、可穿戴設(shè)備、汽車、冰箱等）中的計(jì)算設(shè)備互連在一起，并且能夠發(fā)送/接收數(shù)據(jù)。IOT產(chǎn)生了大量的數(shù)據(jù)，這為呈現(xiàn)大數(shù)據(jù)分析提供了更多的機(jī)會(huì)。

19.機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)是為了設(shè)計(jì)一種基于提供的數(shù)據(jù)能夠進(jìn)行不斷學(xué)習(xí)、調(diào)整、改進(jìn)的系統(tǒng)的設(shè)計(jì)方法。機(jī)器使用預(yù)測和統(tǒng)計(jì)的算法進(jìn)行學(xué)習(xí)并專注于實(shí)現(xiàn)“正確的”行為模式和簡見解，隨著越來越多的數(shù)據(jù)注入系統(tǒng)它還在不斷進(jìn)行優(yōu)化改進(jìn)。典型的應(yīng)用有欺詐檢測、在線個(gè)性化推薦等。

20.MapReduce。MapReduce的概念可能會(huì)有點(diǎn)混亂，但讓我試一試。MapReduce是一個(gè)編程模型，最好的理解方法是將Map和Reduce是看作兩個(gè)獨(dú)立的單元。在這種情況下，編程模型首先將大數(shù)據(jù)的數(shù)據(jù)集分成幾個(gè)部分（技術(shù)術(shù)語上是稱作“元組”，但本文并不想太過技術(shù)性），因此可以部署到不同位置的不同計(jì)算機(jī)上（即前文所述的集群計(jì)算），這些本質(zhì)上是Map的組成部分。接下來該模型收集到所有結(jié)果并將“減少”到同一份報(bào)告中。 MapReduce的數(shù)據(jù)處理模型與hadoop的分布式文件系統(tǒng)相輔相成。

21.NoSQL。乍一聽這像是針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（RDBMS）的面向?qū)ο蟮腟QL（Structured Query Language， 結(jié)構(gòu)化查詢語言）的抗議，其實(shí)NoSQL代表的是NOT ONLY SQL，意即“不僅僅是SQL”。 NoSQL實(shí)際上是指被用來處理大量非結(jié)構(gòu)化、或技術(shù)上被稱作“圖表”（例如關(guān)系型數(shù)據(jù)庫的表）等數(shù)據(jù)的數(shù)據(jù)庫管理系統(tǒng)。NoSQL數(shù)據(jù)庫一般非常適用于大型數(shù)據(jù)系統(tǒng)，這得益于它們的靈活性以及大型非結(jié)構(gòu)化數(shù)據(jù)庫所必備的分布式結(jié)構(gòu)。

22.R語言。有人能想到比這個(gè)編程語言更糟糕的名字嗎？是的，’R’是一門在統(tǒng)計(jì)計(jì)算中表現(xiàn)非常優(yōu)異的編程語言。如果你連’R’都不知道，那你就不是數(shù)據(jù)科學(xué)家。（如果你不知道’R’，就請不要把那些糟糕的代碼發(fā)給我了）。這就是在數(shù)據(jù)科學(xué)中最受歡迎的語言之一的R語言。

23. Spark（Apache Spark）。Apache Spark是一種快速的內(nèi)存內(nèi)數(shù)據(jù)處理引擎，它可以高效執(zhí)行需要快速迭代訪問數(shù)據(jù)集的流、機(jī)器學(xué)習(xí)或SQL工作負(fù)載。Spark通常比我們前文討論的MapReduce快很多。

24.流處理。流處理旨在通過“連續(xù)”查詢對實(shí)時(shí)和流數(shù)據(jù)進(jìn)行操作。結(jié)合流分析（即在流內(nèi)同時(shí)進(jìn)行連續(xù)計(jì)算數(shù)學(xué)或統(tǒng)計(jì)分析的能力），流處理解決方案可以被用來實(shí)時(shí)處理非常大的數(shù)據(jù)。

25. 結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。這是大數(shù)據(jù)5V中的“Variety”多樣性。結(jié)構(gòu)化數(shù)據(jù)是能夠放入關(guān)系型數(shù)據(jù)庫的最基本的數(shù)據(jù)類型，通過表的組織方式可以聯(lián)系到任何其他數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)則是所有不能直接存入關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)，例如電子郵件、社交媒體上的帖子、人類錄音等。