分享海量大數(shù)據(jù)背后的處理技術(shù)的原理

幾乎每個人當(dāng)然也包括工程師都聽說過集成電路領(lǐng)域的摩爾定律，即戈登.摩爾預(yù)測，工藝技術(shù)的進步將導(dǎo)致芯片上的晶體管數(shù)量大約每兩年就翻一番。但只有少數(shù)人聽說過網(wǎng)絡(luò)領(lǐng)域的摩爾定律，即梅特卡夫定律，它由羅伯特.梅特卡夫提出，他指出通信網(wǎng)絡(luò)的價值正比于系統(tǒng)內(nèi)連接用戶數(shù)量的平方。簡單地說，網(wǎng)絡(luò)服務(wù)的用戶越多，該網(wǎng)絡(luò)服務(wù)對全體用戶的價值也越大。

現(xiàn)在，讓我們思考一下物聯(lián)網(wǎng)（IOT），在這個網(wǎng)中的用戶并不一定是人，而是一個機器。人們開發(fā)了以太網(wǎng)系統(tǒng)，通過硬件來連接建筑物內(nèi)的不同機器。它已演變成一系列網(wǎng)絡(luò)技術(shù)，其最新迭代是40 / 100 千兆以太網(wǎng)（GE）標(biāo)準(zhǔn)，也被稱為IEEE 802.3ba，特別針對數(shù)據(jù)中心通訊。

為管理不間斷的高速連接，當(dāng)前的數(shù)據(jù)中心需要容納成千上萬臺主機服務(wù)器，這些服務(wù)器組成一個集群。每個主機包含一個或多個處理器、內(nèi)存、網(wǎng)絡(luò)接口以及本地高速I/O，它們通過高帶寬網(wǎng)絡(luò)緊耦合連接。大多數(shù)情況下，以太網(wǎng)采用集群方式連接（其次是采用InfiniBand）。

爆炸式增長

數(shù)據(jù)中心行業(yè)在不斷壯大，隨著全球更多設(shè)備加入線上網(wǎng)絡(luò)以及更多的企業(yè)轉(zhuǎn)向云計算以共享使用數(shù)據(jù)基礎(chǔ)設(shè)施，這種發(fā)展的速度還在加速。對于數(shù)據(jù)中心市場以及供應(yīng)商和相關(guān)技術(shù)來說，IoT對它們的轉(zhuǎn)型影響最大。據(jù)研究公司Gartner推測，到2020年，IoT設(shè)備的安裝量將達260億臺，它們生成的大數(shù)據(jù)規(guī)模將無法想象，而且這些數(shù)據(jù)還需要實時的處理和分析。這些數(shù)據(jù)占數(shù)據(jù)中心負載的比重也將越來越大，到時供應(yīng)商將面臨容量、速度、分析和安全等方面的新挑戰(zhàn)。

圖1：互連設(shè)備總量，單位是10億臺（來源：Gartner）

需求帶寬

搜索引擎提供商和其它大數(shù)據(jù)用戶（社交媒體論壇、在線購物網(wǎng)站，流媒體視頻供應(yīng)商）為順暢的數(shù)據(jù)中心連接管道付出高額成本。以搜索引擎為例，數(shù)千臺服務(wù)器通過關(guān)鍵字和元數(shù)據(jù)來索引整個互聯(lián)網(wǎng)以提供網(wǎng)絡(luò)搜索服務(wù)。谷歌每天的索引高達200億頁面。一旦它們完成這項任務(wù)，為保持相關(guān)性，這些索引必須迅速轉(zhuǎn)移到其它數(shù)據(jù)中心。為適應(yīng)該需求，連接數(shù)據(jù)中心的管道必須足夠?qū)?。但索引移動之后，管道的利用率就下降，此時服務(wù)器就可用于其它業(yè)務(wù)，但假設(shè)數(shù)據(jù)移動的不夠快，服務(wù)器就不得不暫停。

因此帶寬是大數(shù)據(jù)最大的考慮因素之一。這是一個簡單直觀的概念：更快連接，更好服務(wù)。目前，10Gbps的傳輸率是目前以太網(wǎng)中廣泛使用的最快連接。為更易于理解，對比之下大多數(shù)家庭和企業(yè)使用5類雙絞線電纜連接到以太網(wǎng)，最大傳輸率是1Gbps。

對于其中的內(nèi)部基礎(chǔ)設(shè)施，數(shù)據(jù)中心開始采用面向40Gbps到10Gbps以太網(wǎng)連接的IEEE802.3ba標(biāo)準(zhǔn)——比家庭雙絞線電纜快40到100倍。最先由IEEE在2010年規(guī)定，100千兆以太網(wǎng)（簡稱100GbE）和40千兆以太網(wǎng)（簡稱40GbE）為首批實例，在一個單一的標(biāo)準(zhǔn)中規(guī)定兩個不同的以太網(wǎng)速度。兩種不同速度的采用來自于兩種不同的應(yīng)用要求，40Gbps的速率用以支持本地服務(wù)器應(yīng)用，而100 GbE以太網(wǎng)更適用于網(wǎng)絡(luò)聚合應(yīng)用，如服務(wù)提供商的客戶端連接、互聯(lián)網(wǎng)骨干網(wǎng)、核心網(wǎng)等等。兩年前， IEEE帶寬評估報告預(yù)計，核心網(wǎng)絡(luò)帶寬每18個月就翻一番，而服務(wù)器帶寬則是每24個月增加一倍。

數(shù)據(jù)中心內(nèi)已經(jīng)開始部署40Gbps和100Gbps以太網(wǎng)鏈路，這里的通信帶寬要求最高，比如中心內(nèi)機架到機架通信。大多數(shù)中心仍使用40GbE，但隨著需求日益增加，快速遷移到100GbE以太網(wǎng)只是時間問題?；ヂ?lián)網(wǎng)服務(wù)商對管道需求最高，已經(jīng)開始采用100GbE，而路由器也已經(jīng)支持該標(biāo)準(zhǔn)。

移動設(shè)備應(yīng)用程序的繁盛使“東西通信”的重要性突顯（服務(wù)器之間的通信或者是存儲器到服務(wù)器之間的通信），而不再是傳統(tǒng)的“南北通信”（客戶端到服務(wù)器）。據(jù)思科所述，去年移動數(shù)據(jù)流量總和幾乎是2000年全球互聯(lián)網(wǎng)流量的18倍。2000年，全球互聯(lián)網(wǎng)總共傳輸了一百億億字節(jié) （EB）的流量，而2013移動網(wǎng)絡(luò)承載了近18 EB的流量。

據(jù)英特爾計算，每打開600部手機，就需要一個服務(wù)器的容量來滿足這些手機流量請求。而每120個平板則需要另一臺服務(wù)器，類似的，每臺服務(wù)器支撐約20個數(shù)字標(biāo)牌，或12個監(jiān)控攝像頭。

就在你看這篇微信的幾分鐘內(nèi) ，全球就產(chǎn)生了大量的數(shù)據(jù)，你知道全球一分鐘產(chǎn)生多少數(shù)據(jù)嗎？這是2014年5月最新的數(shù)據(jù)：

全球一分鐘傳送數(shù)據(jù)約64萬GB；發(fā)布了2億400萬封郵件；下載了4.7萬個App；亞馬遜賣出了8.3萬美元的貨物；Flickr發(fā)布了2000萬張照片；Youtube的視頻被查看了130萬次；Facebook被查看了600萬次；Pandora電臺播放了總計6.1萬小時的歌曲。