大數(shù)據(jù)技術(shù)原理與應(yīng)用

　　大數(shù)據(jù)概念

　　大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”

　　隨著云時代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關(guān)注。《著云臺》的分析師團(tuán)隊認(rèn)為，大數(shù)據(jù)（Big data）通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費(fèi)過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因?yàn)閷?shí)時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

　　大數(shù)據(jù)結(jié)構(gòu)

　　大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)越來越成為數(shù)據(jù)的主要部分。據(jù)IDC的調(diào)查報告顯示：企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年都按指數(shù)增長60%。［7］ 大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ３志次分模谝栽朴嬎銥榇淼募夹g(shù)創(chuàng)新大幕的襯托下，這些原本看起來很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。

　　其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要全面而細(xì)致的分解它，著手從三個層面來展開：

　　第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。

　　第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進(jìn)的基石。在這里分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。

　　第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。

　　大數(shù)據(jù)特點(diǎn)

　　大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉庫應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點(diǎn)。《計算機(jī)學(xué)報》刊登的“架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望”一文列舉了大數(shù)據(jù)分析平臺需要具備的幾個重要特性，對當(dāng)前的主流實(shí)現(xiàn)平臺——并行數(shù)據(jù)庫、MapReduce及基于兩者的混合架構(gòu)進(jìn)行了分析歸納，指出了各自的優(yōu)勢及不足，同時也對各個方向的研究現(xiàn)狀及作者在大數(shù)據(jù)分析方面的努力進(jìn)行了介紹，對未來研究做了展望。

　　大數(shù)據(jù)的4個“V”，或者說特點(diǎn)有四個層面：第一，數(shù)據(jù)體量巨大。從TB級別，躍升到PB級別；第二，數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，數(shù)據(jù)的來源，直接導(dǎo)致分析結(jié)果的準(zhǔn)確性和真實(shí)性。若數(shù)據(jù)來源是完整的并且真實(shí)最終的分析結(jié)果以及決定將更加準(zhǔn)確。第四，處理速度快，1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。業(yè)界將其歸納為4個“V”——Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實(shí)性）

　　從某種程度上說，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點(diǎn)至關(guān)重要，也正是這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。

　　大數(shù)據(jù)技術(shù)十大核心原理

　　1.數(shù)據(jù)核心原理：從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心

　　大數(shù)據(jù)時代，計算模式也發(fā)生了轉(zhuǎn)變，從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心。Hadoop體系的分布式計算框架已經(jīng)是“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求，將改變IT系統(tǒng)的升級方式：從簡單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計算模式的轉(zhuǎn)變。

　　科學(xué)進(jìn)步越來越多地由數(shù)據(jù)來推動，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來了機(jī)遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法，綜合源自多個渠道、不同時間的信息而獲得的。為了應(yīng)對大數(shù)據(jù)帶來的挑戰(zhàn)，我們需要新的統(tǒng)計思路和計算方法。

　　2.據(jù)價值原理：有功能是價值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價值

　　大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)的特點(diǎn)。非互聯(lián)網(wǎng)時期的產(chǎn)品，功能一定是它的價值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價值。

　　數(shù)據(jù)能告訴我們，每一個客戶的消費(fèi)傾向，他們想要什么，喜歡什么，每個人的需求有哪些區(qū)別，哪些又可以被集合到一起來進(jìn)行分類。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加，以至于我們能夠?qū)崿F(xiàn)從量變到質(zhì)變的過程。

　　3.全樣本原理：從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本

　　需要全部數(shù)據(jù)樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現(xiàn)在數(shù)據(jù)足夠多，它會讓人能夠看得見、摸得著規(guī)律。

　　數(shù)據(jù)這么大、這么多，所以人們覺得有足夠的能力把握未來，對不確定狀態(tài)的一種判斷，從而做出自己的決定。這些東西我們聽起來都是非常原始的，但是實(shí)際上背后的思維方式，和我們今天所講的大數(shù)據(jù)是非常像的。

　　4.關(guān)注效率原理：由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率

　　關(guān)注效率而不是精確度，大數(shù)據(jù)標(biāo)志著人類在尋求量化和認(rèn)識世界的道路上前進(jìn)了一大步，過去不可計量、存儲、分析和共享的很多東西都被數(shù)據(jù)化了，擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率，原因是大數(shù)據(jù)能夠讓我們知道市場的需要，人的消費(fèi)需要。大數(shù)據(jù)讓企業(yè)的決策更科學(xué)，由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高，大數(shù)據(jù)分析能提高企業(yè)的效率。

　　競爭是企業(yè)的動力，而效率是企業(yè)的生命，效率低與效率高是衡量企來成敗的關(guān)鍵。一般來講，投入與產(chǎn)出比是效率，追求高效率也就是追求高價值。手工、機(jī)器、自動機(jī)器、智能機(jī)器之間效率是不同的，智能機(jī)器效率更高，已能代替人的思維勞動。智能機(jī)器核心是大數(shù)據(jù)制動，而大數(shù)據(jù)制動的速度更快。在快速變化的市場，快速預(yù)測、快速決策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動的準(zhǔn)則，也就是說，速度就是價值，效率就是價值，而這一切離不開大數(shù)據(jù)思維。