進行海量數(shù)據(jù)處理與存儲調(diào)研的詳細資料說明

　　1 Hadoop發(fā)展現(xiàn)狀

　　Apache Nutch 是 Hadoop 的源頭，該項目始于 2002年， 是Apache Lucene的子項目之一。 至 2004年，Google在OSDI上公開發(fā)表了題為 “MapReduce： simplified data processing on large clusters”的論文，受到啟發(fā)的 Doug C 等人 開 始 實 現(xiàn) MapReduce 計 算 框 架 并 與 NDFS （Nutch distributed file system） 結(jié)合支持 Nutch 的主要算法 。 至2006 年逐漸成為一套完整而獨立的軟件 ，起名為 Hadoop。2008 年初，Hadoop 成為 Apache 的頂級項目，應(yīng)用到除Yahoo！ 以外的很多互聯(lián)網(wǎng)公司。

　　Hadoop 技術(shù)已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域得以廣泛的應(yīng)用 ， 同時也得到研究界的普遍關(guān)注。 如 Yahoo！ 使用 4 000 節(jié)點的機群運行 Hadoop， 支持廣告系統(tǒng)和 Web 搜索的研究；Facebook 使用 1 000 節(jié)點的機群運行 Hadoop，存儲日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機器學(xué)習(xí)；IBM 的藍云產(chǎn)品也直接將 Hadoop 軟件集成到自己本身的云計算平臺上；百度用 Hadoop 處理每周 200 TB 的數(shù)據(jù)，進行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作； 中移動研究院基于 Hadoop 開發(fā)了“大云 ”（big cloud）系統(tǒng) ，不但用于相關(guān)數(shù)據(jù)分析，還對外提供服務(wù)；淘寶的 Hadoop 系統(tǒng)用于存儲并處理的交易相關(guān)數(shù)據(jù)。 國內(nèi)的高校和科研院所基于 Hadoop 在數(shù)據(jù)存儲、資源管理、作業(yè)調(diào)度、性能優(yōu)化、系統(tǒng)高可用性和安全性方面進行研究， 相關(guān)研究成果多以開源形式貢獻給 Hadoop 社區(qū)。Cloudera 公司推出了首個 Hadoop 商業(yè)版本，一個能夠存儲千兆位容量信息的服務(wù)器產(chǎn)品。公司發(fā)言人表示“hadoop 應(yīng)用于 Google、Yahoo、Facebook 等公司 ， 已經(jīng)是一個成功的產(chǎn)品，發(fā)布該產(chǎn)品的商業(yè)版本，幾乎是理所當(dāng)然的事情 ”。 Cloudera 的 Hadoop 是 免 費 的 ， 并 將 分 配 在Apache 2 軟件許可下 。

　　2 淘寶網(wǎng)-集群存儲架構(gòu)

　　淘寶網(wǎng)部署了一個1.5PB的華為賽門鐵克Oceanspace N8000 Cluster NAS存儲系統(tǒng)，以及一個包含賽門鐵克FileStore軟件的解決方案，該集群NAS存儲系統(tǒng)方案能夠?qū)浞莺突謴?fù)、動態(tài)存儲分層（DST）和數(shù)據(jù)快照進行整合管理。第二臺華為賽門鐵克Oceanspace N8000部署在一個“active-active”系統(tǒng)中，從而讓淘寶網(wǎng)的服務(wù)器能夠訪問復(fù)制的常用數(shù)據(jù)庫，以便進行故障切換。

　　該團隊還部署了Veritas NetBackup，以進行集中的數(shù)據(jù)保護。通過將NetBackup與N8000和FileStore相集成，可以實現(xiàn)更快速、更便捷的備份。

　　組合的解決方案具有高度可伸縮性，這是部署過程中的主要考慮因素之一。馮江解釋說：“對于淘寶網(wǎng)來說，很難制定一個超過一年的完善計劃，因為業(yè)務(wù)發(fā)展的速度太快了。因此集中管理和出色的可伸縮性對我們來說至關(guān)重要。內(nèi)置了賽門鐵克FileStore的華為賽門鐵克N8000可以擴展到15PB，完全能夠滿足淘寶網(wǎng)一段時間內(nèi)的需求。”

　　賽門鐵克FileStore中的一項重要功能是動態(tài)存儲分層 （DST），動態(tài)存儲分層能夠?qū)?shù)據(jù)動態(tài)移動到不同的存儲層，以快速響應(yīng)淘寶網(wǎng)不斷變化的業(yè)務(wù)需求。經(jīng)常使用的數(shù)據(jù)可以存儲在第一層存儲上，而不常用的數(shù)據(jù)則可以駐留在第二層或第三層存儲上。