大數(shù)據(jù)開源技術(shù)大變遷

　　在這個(gè)基礎(chǔ)上，我們看到很多開源云計(jì)算、大數(shù)據(jù)技術(shù)框架得到了飛速發(fā)展，其中更有一些已經(jīng)成文業(yè)內(nèi)事實(shí)上的標(biāo)準(zhǔn)。這些開源框架的出現(xiàn)大幅度降低了云計(jì)算和大數(shù)據(jù)技術(shù)的使用門檻，然而同時(shí)新的問題也隨之浮現(xiàn)，即如生產(chǎn)環(huán)境使用挑戰(zhàn)。為此，2016年，CSDN特舉辦了一場(chǎng)面向開發(fā)者的云計(jì)算技術(shù)大會(huì)——2016中國(guó)云計(jì)算技術(shù)大會(huì)（CCTC 2016），以實(shí)際應(yīng)用和實(shí)踐調(diào)優(yōu)為主，力邀Intel、微軟、IBM、AWS、Hortonworks、Databricks、Elastic、百度、阿里、騰訊、華為、樂視、京東、小米、微博、迅雷、青云、國(guó)家電網(wǎng)、中國(guó)移動(dòng)、長(zhǎng)安汽車、廣發(fā)證券、民生銀行、國(guó)家超級(jí)計(jì)算廣州中心等機(jī)構(gòu)的60+頂級(jí)技術(shù)講師授業(yè)布道，為各位基礎(chǔ)設(shè)施維護(hù)的與會(huì)者指點(diǎn)迷津。
　　大會(huì)召開前期，特別梳理了歷屆大會(huì)亮點(diǎn)以記錄中國(guó)云計(jì)算技術(shù)大會(huì)發(fā)展歷程，并立足當(dāng)下生態(tài)圈現(xiàn)狀對(duì)即將召開的CCTC 2016進(jìn)行展望。
　　讀開源云計(jì)算&大數(shù)據(jù)技術(shù)演變
　　業(yè)務(wù)需求刺激下，大數(shù)據(jù)生態(tài)繁花似錦
　　近年內(nèi)，隨著越來越多的設(shè)備接入互聯(lián)網(wǎng)，當(dāng)下一年所產(chǎn)生的數(shù)據(jù)往往是以往數(shù)年的總和。而據(jù)Global Cloud Index預(yù)計(jì)，截止至2020年互聯(lián)設(shè)備數(shù)量將達(dá)到500億，眾多爆發(fā)式增長(zhǎng)的設(shè)備預(yù)計(jì)在2017年便會(huì)產(chǎn)生高達(dá)7.7 ZB的互聯(lián)網(wǎng)數(shù)據(jù)。在這個(gè)大背景下，各個(gè)機(jī)構(gòu)都積累了足夠多的數(shù)據(jù)，從而對(duì)數(shù)據(jù)進(jìn)行分析并產(chǎn)生指導(dǎo)實(shí)踐的見解也成為了企業(yè)提高競(jìng)爭(zhēng)力的迫切需求。在這個(gè)需求刺激下，開源大數(shù)據(jù)技術(shù)生態(tài)圈得到了飛速發(fā)展——在數(shù)據(jù)的整個(gè)生命周期中，從收集到處理，一直到數(shù)據(jù)可視化和儲(chǔ)存，各種開源技術(shù)框架林立。
　　在開源大數(shù)據(jù)處理上，出于對(duì)成本和數(shù)據(jù)量的考慮，橫向擴(kuò)展已經(jīng)必不可少，因此在這個(gè)領(lǐng)域涌現(xiàn)出大量?jī)?yōu)秀的集群計(jì)算框架，其中大家首先想到的就是Hadoop。Hadoop天生高貴，由原雅虎工程師Doug Cutting在Google論文的啟發(fā)下建立，也是時(shí)下生產(chǎn)環(huán)境部署最多的計(jì)算框架。然而，隨著內(nèi)存成本的降低和對(duì)不同處理類型需求的增加，缺乏對(duì)內(nèi)存有效利用及資源調(diào)度粒度的不夠，業(yè)內(nèi)涌現(xiàn)出大量?jī)?yōu)秀的計(jì)算框架并占據(jù)一席之地，其中備受關(guān)注的包括Apache Spark、Apache Flink、Apache Storm/JStorm等，整個(gè)大數(shù)據(jù)生態(tài)繁華似錦。
　　開源IaaS發(fā)展，從百花齊放到一家獨(dú)大
　　如上文所述，隨著接入互聯(lián)網(wǎng)的設(shè)備增多，企業(yè)IT基礎(chǔ)設(shè)施往往需要承受以往數(shù)倍的壓力，從而對(duì)原有的資源組織方式提出了嚴(yán)峻的挑戰(zhàn)。在這個(gè)前提下，云計(jì)算得以快速發(fā)展并在各行各業(yè)落地，更成為許多創(chuàng)業(yè)公司的立足之本。而作為云計(jì)算的一種重要形式，IaaS服務(wù)有各種開源和商業(yè)云平臺(tái)方案，作為當(dāng)前最成功的云計(jì)算平臺(tái)，AWS更是吸引了眾多的關(guān)注和模仿，如果說云計(jì)算發(fā)展到如今的火爆，除了IT技術(shù)的發(fā)展趨勢(shì)，更重要的是背后頂級(jí)云計(jì)算廠商的大力支持和推廣。我們最早聽到IaaS概念可以追溯到1983年，一家在現(xiàn)在看來非常厲害的公司Sun Microsystems就提出了“網(wǎng)絡(luò)是電腦”的概念，但是由于概念太超前，在當(dāng)時(shí)并沒有引起重視。
　　隨著Amazon推出其彈性云計(jì)算，并在IaaS領(lǐng)域大獲成功，Google、微軟、VMware、IBM等IT巨頭們大舉跟進(jìn)，紛紛涉足云計(jì)算領(lǐng)域，云計(jì)算的熱潮洶涌而至。在這期間，開源IaaS領(lǐng)域發(fā)展同樣迅猛，從最早的Eucalyptus、OpenNebula、CloudStack等到我們熟知的OpenStack，百花齊放，百家爭(zhēng)鳴，一時(shí)云計(jì)算領(lǐng)域熱鬧非凡，當(dāng)然，隨著眾多大型廠商的支持、社區(qū)的壯大以及生態(tài)的不斷完善，OpenStack如今大放異彩，開始逐漸占據(jù)主導(dǎo)。不是說OpenStack現(xiàn)在完美無缺，只是在當(dāng)下的開源IaaS領(lǐng)域，OpenStack已經(jīng)毫無爭(zhēng)議的成為最受關(guān)注的云計(jì)算技術(shù)，并逐漸成為開源IaaS領(lǐng)域的代名詞。
　　容器技術(shù)異軍突起，從技術(shù)演進(jìn)到標(biāo)準(zhǔn)、生態(tài)之爭(zhēng)
　　Docker，時(shí)下最火的容器技術(shù)，從誕生到進(jìn)軍生產(chǎn)環(huán)境，每一步的技術(shù)演進(jìn)都受到了巨大的關(guān)注。其實(shí)，談及容器技術(shù)，其實(shí)Docker并非首創(chuàng)，早在十?dāng)?shù)年前，容器技術(shù)便已有雛形，但是以Solomon Hykes為首的一幫工程師敏銳的發(fā)現(xiàn)了容器技術(shù)在云計(jì)算領(lǐng)域的巨大潛力，隨后迅速技術(shù)轉(zhuǎn)型，開始投向容器技術(shù)并且從一開始就走開源路線，這位身上流著美國(guó)與法國(guó)的血統(tǒng)，喜歡網(wǎng)咖打電動(dòng)，酷愛摩托車的年輕人開始了一段非凡的浪漫之旅。
　　無論是版本的迭代還是進(jìn)軍生產(chǎn)環(huán)境，Docker這三年來的發(fā)展可以說是如魚得水，當(dāng)然，期間也受到過質(zhì)疑，比如CoreOS與Docker的標(biāo)準(zhǔn)之爭(zhēng)就在容器圈引起了不大不小的轟動(dòng)，最后以Solomon和CoreOS的創(chuàng)始人Alex Polvi握手言和告終。之后隨著Docker版本的更新，在網(wǎng)絡(luò)和安全、存儲(chǔ)等領(lǐng)域的短板被逐漸補(bǔ)足之后，Docker的集群能力得以完善。
　　容器引擎領(lǐng)域，雖說有CoreOS團(tuán)隊(duì)開源的rkt項(xiàng)目，但是和Docker相比，在用戶以及社區(qū)活躍度方面都有很大差距。容器的編排，可以說在目前Docker領(lǐng)域受到的關(guān)注度前所未有，從Mesos到Kubernetes，圍繞兩種技術(shù)的編排之爭(zhēng)超乎想象，由于背后都有大批的廠商支持，短期內(nèi)，這兩種技術(shù)都將得到迅速的發(fā)展，某一方不會(huì)形成壓倒性優(yōu)勢(shì)，另外，從Docker公司的角度，背后的動(dòng)作也有對(duì)編排的考量，綜述所述，容器生態(tài)中，圍繞Docker的生態(tài)之爭(zhēng)才剛剛開始。
　　析開源云計(jì)算&大數(shù)據(jù)技術(shù)最新實(shí)踐
　　Docker短板補(bǔ)足，生產(chǎn)級(jí)實(shí)踐備受關(guān)注
　　如上文所述，在Docker版本的更新過程中，自身的一些技術(shù)缺陷得到了彌補(bǔ)，Docker在安全、存儲(chǔ)以及網(wǎng)絡(luò)領(lǐng)域的短板得到逐步的解決，Docker進(jìn)軍生產(chǎn)環(huán)境已經(jīng)成為大勢(shì)所趨。國(guó)外，在Docker應(yīng)用領(lǐng)域有著比較先進(jìn)的經(jīng)驗(yàn)。國(guó)內(nèi)目前真正將Docker應(yīng)用在生產(chǎn)領(lǐng)域的很少，其中應(yīng)用在核心業(yè)務(wù)的就更少，Docker從誕生到現(xiàn)在，已經(jīng)3年時(shí)間，如果繼續(xù)炒作Docker的優(yōu)越已經(jīng)毫無意義，當(dāng)下，開發(fā)者們最為關(guān)心的是如何讓Docker真正落地，如何在生產(chǎn)環(huán)境中使用Docker，急需這個(gè)領(lǐng)域有一些第一個(gè)吃螃蟹的企業(yè)出來分享他們的經(jīng)驗(yàn)和教訓(xùn)。
　　為此，2016 Container峰會(huì)聚焦生產(chǎn)級(jí)實(shí)踐，邀請(qǐng)了在金融、教育、制造、證券等領(lǐng)域已經(jīng)應(yīng)用Docker的企業(yè)技術(shù)負(fù)責(zé)人到場(chǎng)，給我們談?wù)勊麄冊(cè)谏a(chǎn)環(huán)境中是如何使用Docker的，大規(guī)模部署Docker的經(jīng)驗(yàn)和趟過的坑。比如我們請(qǐng)到了民生銀行架構(gòu)管理中心副主任周越博帶來《Docker助力互聯(lián)網(wǎng)金融新架構(gòu)》，長(zhǎng)安汽車分布式技術(shù)架構(gòu)室室主任黃俊帶來《容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐》，廣發(fā)證券信息技術(shù)部資深架構(gòu)師、交易云技術(shù)研發(fā)團(tuán)隊(duì)負(fù)責(zé)人楊濤帶來的《廣發(fā)證券基于大規(guī)模docker容器集群的OpenTrading證券交易云實(shí)踐之路》，另外，哈有永信至誠(chéng)科技股份有限公司副總裁帶來的《CloudStack＋Docker構(gòu)建云端信息安全實(shí)驗(yàn)場(chǎng)》。
　　OpenStack式微？如何借勢(shì)Docker
　　無可否認(rèn)，Docker的發(fā)展熱度在一定程度上掩蓋了OpenStack的光芒，但是作為開源IaaS領(lǐng)域的首選平臺(tái)，IaaS如何和Docker和諧發(fā)展，或者如何借勢(shì)Docker彌補(bǔ)OpenStack在技術(shù)領(lǐng)域的短板，已經(jīng)成為很多開發(fā)者關(guān)注的焦點(diǎn)。另外，上屆的OpenStack技術(shù)峰會(huì)，我們邀請(qǐng)到IBM云計(jì)算架構(gòu)師劉光亞分享了《深度解析Docker和OpenStack系統(tǒng)集成》收到了眾多參會(huì)者的廣泛關(guān)注，今年OpenStack技術(shù)峰會(huì)，我們同樣邀請(qǐng)到九州云OpenStack 開發(fā)工程師張雷為大家分享如何基于Docker部署升級(jí)OpenStack，此外，對(duì)于已經(jīng)部署了OpenStack基礎(chǔ)服務(wù)的用戶而言，如何最大化地發(fā)揮底層服務(wù)的能力、優(yōu)化資源使用，同時(shí)提升用戶體驗(yàn)，我們邀請(qǐng)到IBM高級(jí)研究員，OpenStack Senlin項(xiàng)目組長(zhǎng)、Heat項(xiàng)目的Core滕啟明博士來為我們分享如何通過編程充分發(fā)揮OpenStack云的能力。值得一提的是，對(duì)于OpenStack在企業(yè)的實(shí)踐，我們也邀請(qǐng)到中國(guó)移動(dòng)，中國(guó)銀聯(lián)、國(guó)家電網(wǎng)、華為、ebay、順豐快遞等頂級(jí)工程師，分享他們?cè)贠penStack實(shí)踐方面的感悟。
　　Hadoop老矣？時(shí)下開源大數(shù)據(jù)生態(tài)解讀
　　如前文所述，在海量數(shù)據(jù)處理上，橫向擴(kuò)展已毋庸置疑。而在這個(gè)領(lǐng)域，由Hadoop 2.0中誕生的YARN無疑最為耀眼，也是時(shí)下生產(chǎn)環(huán)境部署最為廣泛的開源框架。在本屆CCTC 2016上，華為印研Hadoop工程團(tuán)隊(duì)架構(gòu)師、Hadoop Committer Naganarasimha Garla將從技術(shù)角度解析YARN的異構(gòu)實(shí)現(xiàn)，而Hulu大數(shù)據(jù)架構(gòu)組負(fù)責(zé)人董西成將分享YARN在生產(chǎn)環(huán)境中的異構(gòu)應(yīng)用與實(shí)踐。
　　談到開源海量數(shù)據(jù)處理，行業(yè)內(nèi)首先落地的無疑是批量計(jì)算，而在這方面，MapReduce無疑是鼻祖，也是時(shí)下生產(chǎn)環(huán)境部署最多的計(jì)算框架。然而正如上文所述，缺少對(duì)內(nèi)存的有效利用和業(yè)務(wù)對(duì)不同類型計(jì)算的需求，效率比較低的MapReduce同樣面臨著大量競(jìng)爭(zhēng)者，其中兩個(gè)備受關(guān)注的就是Spark和Flink。因此，在CCTC 2016上，主辦方特設(shè)置了2016中國(guó)Spark技術(shù)峰會(huì)，不僅有3位Apache Spark Committer Ram Sriharsha、連城、范文臣為大家解析Spark 2.0，來自Intel、Hortonworks、Elastic、騰訊、新浪微博、Admaster、MediaV等國(guó)內(nèi)外機(jī)構(gòu)的近十位專家將帶來最新的Spark實(shí)踐分享，詳情可以看筆者之前的峰會(huì)解析。而在Flink方面，F(xiàn)link 活躍貢獻(xiàn)者，萬(wàn)達(dá)金融李呈祥將為大家分享名為“Apache Flink： Stream engine beyond Batch”的議題。
　　此外，基于大量用戶的生產(chǎn)歡迎使用，Hadoop同樣亦在飛速進(jìn)步，就比如說之前一直由HDF和HBase的存儲(chǔ)層已面臨Kudu（Cloudera開源）的強(qiáng)力挑戰(zhàn)，而在本次會(huì)議上，小米云平臺(tái)軟件工程師常冰琳將帶來小米在Kudu等開源大數(shù)據(jù)上的實(shí)踐。同時(shí)，阿里云技術(shù)專家曹龍（封神）也會(huì)分享阿里的Hadoop相關(guān)實(shí)踐。
　　當(dāng)然，滿足業(yè)務(wù)需求，生產(chǎn)環(huán)境使用是大家所追求的共同目的，因此在本屆峰會(huì)上，我們特邀了中移動(dòng)蘇研薛港，百度高級(jí)產(chǎn)品經(jīng)理、百度開放云大數(shù)據(jù)平臺(tái)產(chǎn)品負(fù)責(zé)人張琪，騰訊高級(jí)工程師許振文，京東搜索與大數(shù)據(jù)平臺(tái)部數(shù)據(jù)倉(cāng)庫(kù)研發(fā)部高級(jí)經(jīng)理劉業(yè)輝，平安科技高級(jí)研究員夏磊豪，青云QingCloud系統(tǒng)工程師周小四為大家分享各大知名機(jī)構(gòu)的第一手實(shí)踐，詳情可訪問CCTC 2016日程。
?