大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)的技術(shù)關(guān)鍵及解決辦法

　2015中國(guó)大數(shù)據(jù)技術(shù)大會(huì)第二天的大數(shù)據(jù)基礎(chǔ)設(shè)施分論壇中，來(lái)自阿里云、Hulu、北京憶恒創(chuàng)源、阿里巴巴、企事錄以及中科院計(jì)算所的技術(shù)專(zhuān)家分享了大數(shù)據(jù)基礎(chǔ)設(shè)施從設(shè)計(jì)、搭建到平臺(tái)測(cè)試標(biāo)準(zhǔn)各個(gè)方面的技術(shù)關(guān)鍵點(diǎn)、實(shí)際問(wèn)題和解決方法。
　　
　　阿里云的高級(jí)技術(shù)專(zhuān)家李超
　　首先，來(lái)自阿里云的高級(jí)技術(shù)專(zhuān)家李超通過(guò)雙11活動(dòng)講解了阿里如何構(gòu)建自己的大數(shù)據(jù)平臺(tái)。他首先講解了阿里云大數(shù)據(jù)的發(fā)展史，接下來(lái)講解了今天的阿里巴巴大數(shù)據(jù)平臺(tái)到底能做什么事情，第一點(diǎn)最重要就是海量處理能力，這個(gè)離線計(jì)算平臺(tái)支持SQL、MR、MPI、BSP算法平臺(tái)。單個(gè)集群規(guī)模上線達(dá)到一萬(wàn)臺(tái)，存儲(chǔ)有800PB的數(shù)據(jù)，有100萬(wàn)以上的JOB數(shù)，響應(yīng)速度做到100個(gè)毫秒級(jí)別，導(dǎo)出速度達(dá)到100萬(wàn)。除了海量數(shù)據(jù)處理能夠，平臺(tái)還可以提供數(shù)據(jù)整合能力，包括大數(shù)據(jù)的整合，把集團(tuán)內(nèi)部各個(gè)業(yè)務(wù)的數(shù)據(jù)整合在自己的平臺(tái)，現(xiàn)在已經(jīng)達(dá)到800PB的數(shù)據(jù)量，相互之間可以流轉(zhuǎn)，包括結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化的數(shù)據(jù)，用統(tǒng)一的數(shù)據(jù)進(jìn)行整合。還有數(shù)據(jù)交換能力，完全可信的數(shù)據(jù)交換平臺(tái)，多層次的數(shù)據(jù)交換，還有數(shù)據(jù)管理能力，包括原數(shù)據(jù)管理，數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)標(biāo)準(zhǔn)管理。接下來(lái)李超講解了大數(shù)據(jù)平臺(tái)里面三個(gè)比較重要的計(jì)算框架，一個(gè)是ODPS，第二個(gè)ADS實(shí)時(shí)數(shù)據(jù)分析，第三個(gè)StreamSQL，離線實(shí)時(shí)計(jì)算。前面兩個(gè)已經(jīng)在阿里云官網(wǎng)有云服務(wù)提供，后面一個(gè)處于準(zhǔn)備當(dāng)中。此外，阿里云的伏羲系統(tǒng)今年打破了sort benchmark的4項(xiàng)世界紀(jì)錄，而ODPS和ADS系統(tǒng)的底層，都是基于伏羲分布式調(diào)度。李超也從技術(shù)上講解了如何用377秒將100TB的數(shù)據(jù)做出排序。
　　
　　Hulu公司的資深研發(fā)主管梁宇明
　　Docker 技術(shù)越來(lái)越得到了很多開(kāi)發(fā)者的青睞，而YARN對(duì)于多數(shù)愛(ài)好者來(lái)說(shuō)還是一個(gè)比較新的平臺(tái)。來(lái)自Hulu公司的資深研發(fā)主管梁宇明為大家講解了如何把Voidbox用在YARN中。他的演講題目是《Voidbox - Docker On YARN在Hulu的實(shí)踐》。
　　Voidbox是什么？可以做什么呢？梁宇明說(shuō)， 在一個(gè)集群中，你把不同的應(yīng)用在同一個(gè)計(jì)算的集群中共同的運(yùn)行起來(lái)，這時(shí)候其實(shí)需要一個(gè)很好的調(diào)度系統(tǒng)，在開(kāi)源的社區(qū)一般情況下大家就用Voidbox。為了把更多的應(yīng)用，在全部的基礎(chǔ)框架之上，用戶(hù)構(gòu)建一些Voidbox。
　　在集群中的很多部署問(wèn)題，用戶(hù)可以寫(xiě)完打包到同一個(gè)集群去，利用Voidbox就可自動(dòng)匹配，類(lèi)似于虛擬機(jī)提供復(fù)雜環(huán)境得包的能力，提供一個(gè)相對(duì)比較好的資源隔離。Yarn作為資源調(diào)度系統(tǒng)實(shí)現(xiàn)了資源調(diào)度，VoidboxAPI使得用戶(hù)把復(fù)雜的東西統(tǒng)一到Y(jié)arn上去。
　　梁宇明介紹說(shuō)：“我們之所以選擇Voidbox有兩個(gè)原因，第一個(gè)對(duì)應(yīng)用程序可以進(jìn)行很好封裝，可以屏蔽環(huán)境的依賴(lài)。把這些復(fù)雜環(huán)境封裝更好的打包在里面這是第一點(diǎn)。第二點(diǎn)本身CPU有很好隔離，在新版本中做到一定對(duì)網(wǎng)絡(luò)比較好的隔離，這一點(diǎn)是可以提供的，這些隔離基于在一個(gè)程序之中，通過(guò)設(shè)置不同的隊(duì)列，你可以把不同的任務(wù)分到不同業(yè)務(wù)運(yùn)行，你可以把不同運(yùn)用程序支持不同隊(duì)列當(dāng)中去，不同隊(duì)列支持不同的機(jī)器?！?br />