基于Power 8平臺(tái)的大數(shù)據(jù)算法探索與實(shí)踐分享

實(shí)時(shí)大數(shù)據(jù)處理時(shí)代的來(lái)臨促使了諸多不可預(yù)見(jiàn)的新業(yè)務(wù)挑戰(zhàn)與威脅的出現(xiàn)，2016年，“數(shù)字化轉(zhuǎn)型相應(yīng)擴(kuò)大”成為了企業(yè)的首要主題。在此背景之下，除了決定結(jié)果準(zhǔn)確性的數(shù)據(jù)以外，決定快慢的算法模型就顯得尤為重要。然而，當(dāng)前大數(shù)據(jù)所使用的算法絕大多數(shù)都是幾十年前的老算法，而隨著硬件與分布式技術(shù)的革新升級(jí)，機(jī)器學(xué)習(xí)得到了高速發(fā)展，但在算法上卻沒(méi)有顯著突破。
　　由此，IBM在聯(lián)合CSDN連續(xù)舉辦8期Power 8極限挑戰(zhàn)賽后，火熱發(fā)起“Linux on Power算法馬拉松挑戰(zhàn)賽”年度總決賽。以大數(shù)據(jù)算法為主題，提供豐厚的獎(jiǎng)金、完全免費(fèi)的IBM Power虛擬環(huán)境、豐富的工具鏈與文檔、強(qiáng)大的后場(chǎng)資源管理團(tuán)隊(duì)，共襄這場(chǎng)程序員盛宴。讓歷經(jīng)重重篩選殺入決賽的大數(shù)據(jù)技術(shù)和算法高手們盡情揮灑創(chuàng)意，一起切磋算法技術(shù)。
　　
　　經(jīng)過(guò)12小時(shí)的組隊(duì)較量，最終，由張冠星、王瑞、黃平春組成的團(tuán)隊(duì)奪得總決賽冠軍，IBM大中華區(qū)硬件系統(tǒng)部服務(wù)器解決方案副總裁施東峰蒞臨現(xiàn)場(chǎng)為其頒發(fā)了10000元現(xiàn)金支票。為此，CSDN特地采訪(fǎng)了施東峰與獲獎(jiǎng)?wù)?，從他們的口中探知大?shù)據(jù)算法的發(fā)展以及IBM對(duì)于大數(shù)據(jù)算法的深度研究與支持。
　　基于Power 8平臺(tái)的大數(shù)據(jù)算法探索與實(shí)踐針對(duì)大數(shù)據(jù)處理壓力等現(xiàn)實(shí)需求，總決賽冠軍團(tuán)隊(duì)在比賽中基于IBM Power 8同步開(kāi)發(fā)了兩套算法，并根據(jù)比賽在算法準(zhǔn)確性、測(cè)試時(shí)間等方面的評(píng)判標(biāo)準(zhǔn)，提交了其中更具優(yōu)勢(shì)的一套算法。當(dāng)然，從算法到提交程序運(yùn)行等整個(gè)開(kāi)發(fā)過(guò)程中，他們的團(tuán)隊(duì)也遇到了許多問(wèn)題，并在數(shù)據(jù)專(zhuān)家的幫助下得以解決，比如由于訓(xùn)練集主題相對(duì)集中，用LDA或PLSA效果并不理想，反而使用傳統(tǒng)的TextRank、TF-IDF較好；對(duì)于語(yǔ)料的處理，更關(guān)注樣本集特點(diǎn)，預(yù)處理中主要是去除HTML標(biāo)簽、標(biāo)點(diǎn)符號(hào)、代碼塊等。
　　IBM在現(xiàn)場(chǎng)提供的專(zhuān)業(yè)支持也幫助他們快速熟悉Power 8的環(huán)境和編譯工具，同時(shí)還有g(shù)cc-ppc64編譯套件、jdk8-ibm、pypy等工具。張冠星表示，Power平臺(tái)擁有著強(qiáng)大的內(nèi)存帶寬和超線(xiàn)程處理能力，并且配套了相關(guān)的優(yōu)化工具，使開(kāi)發(fā)更加容易?！耙郧爸饕窃趚86平臺(tái)下開(kāi)發(fā)，沒(méi)有遇到過(guò)交叉編譯、性能調(diào)優(yōu)等場(chǎng)景，而借助這個(gè)機(jī)會(huì)，在Power 8平臺(tái)上針對(duì)自己的程序有目的地調(diào)優(yōu)，并達(dá)到效果，收獲很大?！?br /> 　　開(kāi)放的Linux 開(kāi)放的Power在大賽過(guò)程中，IBM專(zhuān)門(mén)安排了技術(shù)專(zhuān)家為所有參賽選手做技術(shù)輔導(dǎo)，施東峰表示，舉辦此次大賽的初衷在于希望能夠?yàn)?a target='_blank' class='arckwlink_none'>開(kāi)發(fā)者們建立一個(gè)良好的溝通平臺(tái)，幫助開(kāi)發(fā)者拓展編程思路，同時(shí)也提升他們對(duì)基于Linux平臺(tái)進(jìn)行大數(shù)據(jù)分析的能力。采訪(fǎng)過(guò)程中，施東峰詳談了IBM對(duì)于支持Linux以及開(kāi)源社區(qū)所做的種種努力。“IBM的發(fā)展離不開(kāi)Linux，而IBM對(duì)于Linux的投入與支持也是最直接的，這種投入既包括公司對(duì)開(kāi)發(fā)人員的培養(yǎng)，又包含在產(chǎn)品上的支持，所有服務(wù)器平臺(tái)都支持Linux。同時(shí)，IBM在開(kāi)源社區(qū)也做了很大的投入，包括大數(shù)據(jù)方面的智能運(yùn)算解決方案、Hadoop、Spark等?！?br /> 　　
　　IBM大中華區(qū)硬件系統(tǒng)部服務(wù)器解決方案副總裁 施東峰
　　那么，在云計(jì)算和開(kāi)源軟件風(fēng)靡的今天，用戶(hù)應(yīng)如何選擇IT架構(gòu)？施東峰談到，在一個(gè)私有云或數(shù)據(jù)中心中，由于機(jī)器數(shù)量的增加，硬件設(shè)備的損壞是不可避免的，這些能耗將會(huì)成為用戶(hù)一個(gè)很大的開(kāi)支，基于x86通用服務(wù)器進(jìn)行集群和橫向擴(kuò)展等的IT云架構(gòu)存在很多問(wèn)題需要用戶(hù)去面對(duì)。在這方面，IBM通過(guò)自己的技術(shù)來(lái)解決用戶(hù)需求，以基于Power 8技術(shù)的產(chǎn)品讓效能得到大幅提升，而針對(duì)用戶(hù)的特定應(yīng)用，IBM會(huì)提供特制的大內(nèi)存機(jī)器，更好地支持Hadoop和Spark應(yīng)用的運(yùn)行。
　　施東峰講道：“IBM對(duì)所有開(kāi)源的軟件都抱以開(kāi)放的態(tài)度，并針對(duì)大數(shù)據(jù)做了一些硬件配置，讓新的服務(wù)器產(chǎn)品在大數(shù)據(jù)應(yīng)用性能方面得到了極大提升。而IBM也以O(shè)penPower開(kāi)放計(jì)劃聯(lián)盟的方式，與硬件、軟件、處理器、數(shù)據(jù)庫(kù)等廠(chǎng)商進(jìn)行合作。隨著OpenPower的持續(xù)深入，越來(lái)越多的國(guó)內(nèi)公司參與進(jìn)來(lái)，發(fā)展迅猛的Linux也將透過(guò)IBM迎來(lái)大的機(jī)遇！”
?