運(yùn)營(yíng)商構(gòu)建大數(shù)據(jù)能力的實(shí)踐探索

2015年12月10-12日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，中國(guó)科學(xué)院計(jì)算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦，以“數(shù)據(jù)安全、深度分析、行業(yè)應(yīng)用”為主題的 2015中國(guó)大數(shù)據(jù)技術(shù)大會(huì) （Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大開(kāi)幕。
　　2015中國(guó)大數(shù)據(jù)技術(shù)大會(huì)首日全體會(huì)議中，中國(guó)移動(dòng)蘇州研發(fā)中心總經(jīng)理助理兼CTO孫少陵在主題演講中表示傳統(tǒng)企業(yè)在大數(shù)據(jù)轉(zhuǎn)型過(guò)程中，通常要經(jīng)歷BI升級(jí)為大數(shù)據(jù)平臺(tái)、組織架構(gòu)轉(zhuǎn)型和內(nèi)部數(shù)據(jù)整合、主動(dòng)數(shù)據(jù)采集三個(gè)階段，目前中國(guó)移動(dòng)已完成第一階段，第二階段已開(kāi)展，第三階段已初露萌芽。
　　
　　中國(guó)移動(dòng)蘇州研發(fā)中心總經(jīng)理助理兼CTO 孫少陵
　　他結(jié)合實(shí)踐案例，分享了中國(guó)移動(dòng)在大數(shù)據(jù)領(lǐng)域的探索成果并總結(jié)了運(yùn)營(yíng)商大數(shù)據(jù)系統(tǒng)設(shè)計(jì)思路：
　　集中化的數(shù)據(jù)管理。全網(wǎng)數(shù)據(jù)跨省、跨地域數(shù)據(jù)的高效存儲(chǔ)和統(tǒng)一管理。多樣化的服務(wù)模式。與應(yīng)用解耦，提供靈活的數(shù)據(jù)服務(wù)。精細(xì)化的資源管理。實(shí)現(xiàn)多租戶支持，最大程度地提高資源使用效率。高效的任務(wù)調(diào)度。同一平臺(tái)高效提供多種類型應(yīng)用的支持。
　　以下為演講實(shí)錄
　　孫少陵：大家下午好！今天大家話題的氣氛都是比較積極向上的，大數(shù)據(jù)現(xiàn)在這么熱，為什么會(huì)有冷思考？在目前互聯(lián)網(wǎng)尤其移動(dòng)互聯(lián)網(wǎng)的條件之下，我們中國(guó)移動(dòng)現(xiàn)在也算是個(gè)傳統(tǒng)行業(yè)，傳統(tǒng)行業(yè)在發(fā)展大數(shù)據(jù)轉(zhuǎn)型過(guò)程中面臨確實(shí)有很多困惑，所有的公司都認(rèn)為中國(guó)移動(dòng)是個(gè)富有數(shù)據(jù)的公司。
　　在大數(shù)據(jù)這個(gè)時(shí)代，對(duì)中國(guó)移動(dòng)給予了非常高的期待，但我們?cè)谶\(yùn)作的時(shí)候，不管是內(nèi)部應(yīng)用，還是在外部變現(xiàn)，現(xiàn)在都遇到很多困惑的問(wèn)題。其實(shí)也是借這么個(gè)機(jī)會(huì)，希望能夠拋磚引玉，大家一起共同思考。
　　我的演講分兩個(gè)部分，第一是傳統(tǒng)行業(yè)在大數(shù)據(jù)時(shí)代轉(zhuǎn)型方面的思考，第二是中國(guó)移動(dòng)在大數(shù)據(jù)方面的實(shí)踐和探索。
　　傳統(tǒng)行業(yè)在大數(shù)據(jù)的思考
　　大數(shù)據(jù)現(xiàn)在繼續(xù)成為行業(yè)熱點(diǎn)，不管從國(guó)家政策方面，還是從產(chǎn)業(yè)發(fā)展的角度，都對(duì)大數(shù)據(jù)抱有非常高的期望。大家從今天上午發(fā)布的十大熱點(diǎn)能夠看得出來(lái)，
　　大數(shù)據(jù)處于上升的階段。今年有個(gè)變化，在Gartner新技術(shù)炒作曲線里面發(fā)現(xiàn)沒(méi)有大數(shù)據(jù)了，這個(gè)我跟Gartner探討過(guò)，Gartner并不是說(shuō)在新技術(shù)里面大數(shù)據(jù)已經(jīng)不重要了，是大數(shù)據(jù)變得更寬泛，這個(gè)東西已經(jīng)慢慢嵌入到各行各業(yè)各類應(yīng)用，所以今年專門有個(gè)大數(shù)據(jù)自身的炒作曲線，比如有大數(shù)據(jù)的安全和隱私的炒作曲線，所以并不是說(shuō)大數(shù)據(jù)已經(jīng)變得不那么熱了，而是說(shuō)它更熱了，現(xiàn)在很多分報(bào)告去探討大數(shù)據(jù)在各行各業(yè)各領(lǐng)域的應(yīng)用，包括供應(yīng)鏈、物聯(lián)網(wǎng)、金融、醫(yī)療等。像麥肯錫等對(duì)大數(shù)據(jù)提出了很高的預(yù)期，包括未來(lái)它在各行業(yè)中的產(chǎn)值，以及未來(lái)人才需求方面。
　　在大數(shù)據(jù)時(shí)代我們實(shí)現(xiàn)轉(zhuǎn)型，面臨很多問(wèn)題和挑戰(zhàn)，互聯(lián)網(wǎng)公司是把大數(shù)據(jù)作為互聯(lián)網(wǎng)+的利器，互聯(lián)網(wǎng)公司利用手里數(shù)據(jù)的優(yōu)勢(shì)實(shí)現(xiàn)業(yè)務(wù)拓展，如果有了這種商品交易的數(shù)據(jù)，它可以做銀行、做支付。傳統(tǒng)行業(yè)能不能+互聯(lián)網(wǎng)？在現(xiàn)有的領(lǐng)域中，通過(guò)大數(shù)據(jù)助力實(shí)現(xiàn)轉(zhuǎn)型，這是實(shí)現(xiàn)行業(yè)困局的突破。
　　開(kāi)展大數(shù)據(jù)有下面幾個(gè)典型的問(wèn)題：
　　第一，技術(shù)能力不足。在傳統(tǒng)行業(yè)，IT一直作為后端的部門，IT一般不是直接跟它業(yè)務(wù)直接相關(guān)，它經(jīng)常被IT作為后端的支撐手段，大量通過(guò)外包或采購(gòu)方式實(shí)現(xiàn)，所以在自身軟件開(kāi)發(fā)和大數(shù)據(jù)平臺(tái)運(yùn)維、大數(shù)據(jù)新技術(shù)應(yīng)用、大數(shù)據(jù)分析挖掘方面能力相當(dāng)有限。從前面幾位專家介紹我們能夠感受到，現(xiàn)在大數(shù)據(jù)沒(méi)有達(dá)到易用性是普通的非IT人員就可以很容易操作的，它各個(gè)環(huán)節(jié)需要非常專業(yè)的IT支撐能力。
　　第二，數(shù)據(jù)條塊的分割。因?yàn)閭鹘y(tǒng)的業(yè)務(wù)單位都是根據(jù)它的業(yè)務(wù)去組織它的組織架構(gòu)，所以不可避免造成很多數(shù)據(jù)分散在它不同的系統(tǒng)當(dāng)中。比如對(duì)中國(guó)移動(dòng)來(lái)說(shuō)，我們現(xiàn)在IT支撐系統(tǒng)分BOM三個(gè)域，解決計(jì)費(fèi)、用戶注冊(cè)數(shù)據(jù)、經(jīng)營(yíng)分析，O域主要是網(wǎng)絡(luò)運(yùn)維，網(wǎng)絡(luò)采集的數(shù)據(jù)，M域是內(nèi)部的ERP等辦公類數(shù)據(jù)，這三個(gè)域分布在三個(gè)不同部門，三個(gè)系統(tǒng)分別建設(shè)。目前這個(gè)數(shù)據(jù)間有壁壘，而且這個(gè)數(shù)據(jù)標(biāo)準(zhǔn)也不統(tǒng)一，就算簡(jiǎn)單的把三個(gè)域合成一起，也很難帶來(lái)數(shù)據(jù)融合以后“1+1大于2”的效果，這方面也限制傳統(tǒng)行業(yè)對(duì)大數(shù)據(jù)的應(yīng)用。
　　第三，組織架構(gòu)不匹配。因?yàn)槲覀儸F(xiàn)在不同的數(shù)據(jù)分散在不同的部門，沒(méi)有個(gè)專門的機(jī)構(gòu)去管理這些數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)一的標(biāo)準(zhǔn)，對(duì)這些數(shù)據(jù)進(jìn)行維護(hù)，所以目前我們數(shù)據(jù)的使用都在自己的條塊之內(nèi)。
　　第四，思維模式的轉(zhuǎn)變。傳統(tǒng)行業(yè)某種意義上來(lái)說(shuō)，在利用大數(shù)據(jù)方面還處在摸索階段，技術(shù)和業(yè)務(wù)知識(shí)方面可能并不是主要的問(wèn)題，關(guān)鍵是意識(shí)的問(wèn)題。今天上午王堅(jiān)先生提到一個(gè)問(wèn)題，他認(rèn)為數(shù)據(jù)不是采集的，但我有不同的看法。我認(rèn)為傳統(tǒng)行業(yè)開(kāi)始主動(dòng)的收集數(shù)據(jù)，重視它行業(yè)中各種各樣的數(shù)據(jù)，甚至在它業(yè)務(wù)系統(tǒng)、業(yè)務(wù)流程設(shè)計(jì)時(shí)，把數(shù)據(jù)采集作為一個(gè)很重要的工作納入進(jìn)去，這個(gè)公司某種意義上才可以說(shuō)是實(shí)現(xiàn)了大數(shù)據(jù)的初步思維模式轉(zhuǎn)變，傳統(tǒng)行業(yè)是沒(méi)有這方面的意識(shí)。如果把業(yè)務(wù)系統(tǒng)的設(shè)計(jì)、業(yè)務(wù)流程的設(shè)計(jì)，跟數(shù)據(jù)的采集分析有機(jī)融合在一起，我認(rèn)為這個(gè)真正是未來(lái)傳統(tǒng)行業(yè)實(shí)現(xiàn)互聯(lián)網(wǎng)+轉(zhuǎn)型的很重要步驟。我們看互聯(lián)網(wǎng)公司現(xiàn)在在走什么樣的路，它的業(yè)務(wù)流程通過(guò)引入大數(shù)據(jù)，實(shí)現(xiàn)了業(yè)務(wù)的智能化和自動(dòng)化，這是未來(lái)互聯(lián)網(wǎng)+和工業(yè)4.0要達(dá)到的目標(biāo)。所以思維轉(zhuǎn)變對(duì)傳統(tǒng)行業(yè)有效利用大數(shù)據(jù)實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型起到非常重要的作用。
　　傳統(tǒng)行業(yè)大數(shù)據(jù)發(fā)展路徑一般分三個(gè)階段：
　　第一，技術(shù)升級(jí)，我們可以把它形象比喻成“BIPLUS”，傳統(tǒng)行業(yè)都有BI，不管是做決策支持，還是做市場(chǎng)營(yíng)銷支持，一般都是用IOE的架構(gòu)去實(shí)現(xiàn)的。在第一階段技術(shù)升級(jí)的時(shí)候，傳統(tǒng)行業(yè)一般會(huì)隨著技術(shù)發(fā)展的趨勢(shì)引入像Hadoop、Spark、MPP數(shù)據(jù)倉(cāng)庫(kù)等等新技術(shù)，這個(gè)階段大家主要關(guān)心新技術(shù)對(duì)傳統(tǒng)技術(shù)替代過(guò)程中怎么提高效率和降低成本。目前大部分傳統(tǒng)行業(yè)是用混搭的方式，因?yàn)楝F(xiàn)在部門業(yè)務(wù)線條是孤立的，所以往往它內(nèi)部會(huì)形成多個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，出現(xiàn)不同的Spark、不同的Hadoop集群。
　　第二，數(shù)據(jù)融合和組織架構(gòu)調(diào)整的階段。在數(shù)據(jù)應(yīng)用的過(guò)程當(dāng)中，大家發(fā)現(xiàn)現(xiàn)在技術(shù)手段具備了，現(xiàn)在有Spark和Hadoop，可以分析存儲(chǔ)大量的數(shù)據(jù)，但是發(fā)現(xiàn)數(shù)據(jù)源存儲(chǔ)在不同的數(shù)據(jù)系統(tǒng)里面，這時(shí)候有整合的需求存在。這種整合必然帶來(lái)組織架構(gòu)的調(diào)整，原來(lái)業(yè)務(wù)按條塊分割、系統(tǒng)按條塊分割去建設(shè)，沒(méi)有統(tǒng)一的團(tuán)隊(duì)去整理和維護(hù)這些數(shù)據(jù)的話，這種數(shù)據(jù)整合肯定無(wú)法實(shí)現(xiàn)。
　　第三，思維模式的變化。思維模式的變化就是把大數(shù)據(jù)作為企業(yè)的一個(gè)思維習(xí)慣，所有的經(jīng)營(yíng)活動(dòng)都考慮數(shù)據(jù)的收集和采集，都考慮未來(lái)業(yè)務(wù)流程中如何利用這些數(shù)據(jù)去優(yōu)化、去發(fā)現(xiàn)問(wèn)題，所以收集數(shù)據(jù)會(huì)變成這個(gè)階段業(yè)務(wù)設(shè)計(jì)的一個(gè)重要考慮。隨著數(shù)據(jù)對(duì)于業(yè)務(wù)優(yōu)化效果的體現(xiàn)，會(huì)出現(xiàn)數(shù)據(jù)饑渴。這個(gè)階段也許有的公司會(huì)出現(xiàn)盲目的收集數(shù)據(jù)，數(shù)據(jù)會(huì)大量的飛速增長(zhǎng)，同時(shí)大數(shù)據(jù)和業(yè)務(wù)系統(tǒng)深度整合，同時(shí)研發(fā)、運(yùn)營(yíng)一體化實(shí)現(xiàn)快速迭代，使業(yè)務(wù)更加智能化和自動(dòng)化。實(shí)際上對(duì)傳統(tǒng)行業(yè)來(lái)說(shuō)，思維轉(zhuǎn)變是實(shí)現(xiàn)互聯(lián)網(wǎng)+轉(zhuǎn)型的一個(gè)關(guān)鍵。
　　中國(guó)移動(dòng)大數(shù)據(jù)探索實(shí)踐與思考
　　中國(guó)移動(dòng)是一個(gè)富有大數(shù)據(jù)的公司，現(xiàn)在我們的組織架構(gòu)也是個(gè)典型的傳統(tǒng)行業(yè)，不光是我們?cè)诠緝?nèi)部有不同的線條，比如做業(yè)務(wù)支撐的，做網(wǎng)絡(luò)維護(hù)的，做市場(chǎng)營(yíng)銷的，同時(shí)我們也是一個(gè)分區(qū)域的公司，我們現(xiàn)在有31家省公司，現(xiàn)在還有18家的專業(yè)公司。
　　數(shù)字類型可以看一些數(shù)字，比如我們有超過(guò)8.2億用戶，100萬(wàn)機(jī)站，經(jīng)營(yíng)分析系統(tǒng)里有10B以上的數(shù)據(jù)，每分鐘有大量用戶的呼叫等等，實(shí)際上所有這些動(dòng)作每天都在產(chǎn)生大量的數(shù)據(jù)。之前我們這個(gè)公司有個(gè)測(cè)算，就是中國(guó)移動(dòng)到底有多少數(shù)據(jù)，我要把這些數(shù)據(jù)集中在一起會(huì)有個(gè)什么效果。網(wǎng)絡(luò)部最后做了個(gè)測(cè)算，我們一個(gè)大的省公司比如廣東公司一天數(shù)據(jù)可能幾百P，第二，如果把這些數(shù)據(jù)集中在一點(diǎn)，比如都傳到哈爾濱或者呼和浩特的集中數(shù)據(jù)中心，需要重構(gòu)一個(gè)中國(guó)移動(dòng)的CMNET，就是我們Internet的骨干網(wǎng)。所以某種意義上來(lái)說(shuō)，一方面可以看到這個(gè)數(shù)據(jù)量非常大，另外一方面我們可以看到這個(gè)投資也是非常驚人的。
　　目前中國(guó)移動(dòng)數(shù)據(jù)主要用于網(wǎng)絡(luò)優(yōu)化、業(yè)務(wù)創(chuàng)新、精準(zhǔn)營(yíng)銷、決策支持，這個(gè)跟其他很多公司使用大數(shù)據(jù)的方式和方法都一樣。中國(guó)移動(dòng)在大數(shù)據(jù)的探索方面，我個(gè)人自我評(píng)價(jià)的話，覺(jué)得是初步完成了第一階段，現(xiàn)在在部分省公司開(kāi)始做第二階段，集團(tuán)也在開(kāi)始考慮做第二個(gè)階段，第三個(gè)階段只能說(shuō)現(xiàn)在有些萌芽：
　　第一階段，公司在2011年、2012年時(shí)就在激烈的討論，就是Hadoop這種新型技術(shù)到底適用不適用中國(guó)移動(dòng)，我們傳統(tǒng)部門有很多質(zhì)疑的聲音，他們認(rèn)為MPP數(shù)據(jù)倉(cāng)庫(kù)出現(xiàn)了，現(xiàn)在傳統(tǒng)的業(yè)務(wù)尤其話音等等這樣的業(yè)務(wù)，應(yīng)該用比較穩(wěn)定的商業(yè)系統(tǒng)。我們作為一個(gè)研發(fā)單位，積極推進(jìn)Hadoop、Spark、流計(jì)算等等新技術(shù)，最終的結(jié)果是到了去年、今年這個(gè)質(zhì)疑不存在了，大家開(kāi)始穩(wěn)步建設(shè)，在系統(tǒng)當(dāng)中不斷引入新技術(shù)，同時(shí)開(kāi)始業(yè)務(wù)中大數(shù)據(jù)的工作。
　　第二階段，現(xiàn)在有些省公司把數(shù)據(jù)進(jìn)行集中化，有的建個(gè)部門，有的在部門下面專門建個(gè)團(tuán)隊(duì)，實(shí)現(xiàn)三個(gè)域數(shù)據(jù)的融合。
　　第三個(gè)階段，這里想結(jié)合個(gè)案例，說(shuō)一下我們?yōu)槭裁凑J(rèn)為傳統(tǒng)行業(yè)要改變思維模式，那么我們第三階段到底都做了些什么。這里我們以福建移動(dòng)為例，最近福建移動(dòng)做了件事情，他們把傳統(tǒng)的網(wǎng)絡(luò)性能管理系統(tǒng)做了重新的開(kāi)發(fā)，這個(gè)網(wǎng)絡(luò)性能管理系統(tǒng)目前在公司內(nèi)部的效果非常突出，遠(yuǎn)遠(yuǎn)好于其他單位用傳統(tǒng)方式去做的。這里有哪些不同于傳統(tǒng)的網(wǎng)管系統(tǒng)的特點(diǎn)？
　　福建公司是最找實(shí)現(xiàn)BOM三個(gè)域整合，福建公司業(yè)務(wù)支撐系統(tǒng)部下面專門設(shè)計(jì)了大數(shù)據(jù)中心，BMO三個(gè)域的數(shù)據(jù)現(xiàn)在都放在它那統(tǒng)一進(jìn)行管理，它現(xiàn)在也是部署了好幾個(gè)Hadoop集群，進(jìn)行數(shù)據(jù)的管理和維護(hù)。剛才說(shuō)性能管理系統(tǒng)，它實(shí)際上是網(wǎng)絡(luò)部在這個(gè)平臺(tái)上的應(yīng)用，因?yàn)樗鼘?shí)現(xiàn)了三域數(shù)據(jù)的融合，所以給我們這個(gè)性能管理系統(tǒng)帶來(lái)了一個(gè)進(jìn)行創(chuàng)新的物質(zhì)基礎(chǔ)。我們的網(wǎng)絡(luò)部根據(jù)它業(yè)務(wù)上的經(jīng)驗(yàn)，把原來(lái)傳統(tǒng)的網(wǎng)管系統(tǒng)只關(guān)注網(wǎng)絡(luò)這個(gè)環(huán)節(jié)拓展開(kāi)來(lái)，變成端到端的去關(guān)注整個(gè)網(wǎng)絡(luò)的運(yùn)行情況。
　　除了原來(lái)傳統(tǒng)的網(wǎng)絡(luò)，現(xiàn)在包括小區(qū)、用戶、終端、包括我們開(kāi)設(shè)的業(yè)務(wù)平臺(tái)，所以定義“五元”、“五階”概念，“五階”是業(yè)務(wù)流程，也就是說(shuō)我們打通一通電話或者連接上網(wǎng)過(guò)程中有五個(gè)步驟，這五個(gè)步驟中產(chǎn)生所有數(shù)據(jù)挖掘收集過(guò)來(lái)，并且進(jìn)行建模，在某種意義上是數(shù)據(jù)融合帶來(lái)的好處。
　　在它的運(yùn)維方式上實(shí)現(xiàn)了突破，這個(gè)突破體現(xiàn)在什么地方？第一，因?yàn)樗胁煌S度的數(shù)據(jù)，所以他們提出來(lái)一個(gè)“空間置換法”，也就是說(shuō)它原來(lái)有很多故障的發(fā)現(xiàn)和排除，某種意義上來(lái)說(shuō)它是端到端的一點(diǎn)點(diǎn)去找故障的方式?，F(xiàn)在它可以做橫向比較，比如某個(gè)業(yè)務(wù)訪問(wèn)有問(wèn)題，那么它看一下同類業(yè)務(wù)平臺(tái)，比如你是個(gè)視頻類的，那么其他視頻類的業(yè)務(wù)是不是有問(wèn)題，通過(guò)類似于這樣的方法逐點(diǎn)去排除，最后很快的定位到底故障在哪。第二種方式，他們提出來(lái)叫“主動(dòng)運(yùn)維”，主動(dòng)運(yùn)維跟我們傳統(tǒng)運(yùn)維的觀念產(chǎn)生很大的變化，傳統(tǒng)運(yùn)維的運(yùn)維系統(tǒng)是只監(jiān)不控，也就是說(shuō)我在運(yùn)維的過(guò)程中不會(huì)調(diào)整我的網(wǎng)絡(luò)，但是他們?cè)诎l(fā)現(xiàn)問(wèn)題以后會(huì)去調(diào)整它的業(yè)務(wù)流量、流向等等，做這樣一些工作，去看調(diào)整之前和之后的變化，通過(guò)這種方式去發(fā)現(xiàn)問(wèn)題，甚至發(fā)現(xiàn)一些還沒(méi)有出現(xiàn)但潛在存在的問(wèn)題，所以他們叫“主動(dòng)運(yùn)維”。
　　他們還培養(yǎng)了一個(gè)小的團(tuán)隊(duì)，這個(gè)小團(tuán)隊(duì)的人熟悉Hadoop和Spark等等編程，這些人是業(yè)務(wù)方面的專家，他可以通過(guò)業(yè)務(wù)方面的知識(shí)，快速利用這些新的技術(shù)去解決問(wèn)題，研發(fā)和運(yùn)營(yíng)實(shí)現(xiàn)了一體化，所以他能夠比較快速的把他的想法變成可以用的東西。剛才說(shuō)的這幾點(diǎn)是我感覺(jué)出來(lái)的，就是一個(gè)傳統(tǒng)行業(yè)大數(shù)據(jù)帶來(lái)思維的變化，它應(yīng)該有這樣的一些反映。
　　中國(guó)移動(dòng)大數(shù)據(jù)發(fā)展路徑，公司內(nèi)部也慢慢意識(shí)到大數(shù)據(jù)對(duì)我們來(lái)說(shuō)非常重要，所以公司首先成立了蘇州研發(fā)中心，第一，蘇州研發(fā)中心首先是個(gè)研發(fā)單位，第二，它的定位是云計(jì)算、大數(shù)據(jù)、IT支撐系統(tǒng)這三大部分。目前我們現(xiàn)在已經(jīng)有超過(guò)500人，研發(fā)人員占85%以上，我們的職責(zé)，一方面為公司內(nèi)部提供新的技術(shù)和產(chǎn)品，比如Hadoop、Spark等等，我們都維護(hù)自己的定制版本，同時(shí)，在此基礎(chǔ)上我們做定制化等新工作，讓我們新的技術(shù)在現(xiàn)在的應(yīng)用中更容易讓非IT背景的人員使用。
　　現(xiàn)在公司提倡所有的省公司鼓勵(lì)員工去做開(kāi)發(fā)，就是大家培養(yǎng)一個(gè)開(kāi)發(fā)的能力。作為傳統(tǒng)行業(yè)，我們發(fā)現(xiàn)有很多能力是缺失的，在云計(jì)算和大數(shù)據(jù)時(shí)代，我們的一線員工不會(huì)開(kāi)發(fā)，不會(huì)去應(yīng)用這些新的基礎(chǔ)，在很多工作推進(jìn)的時(shí)候都會(huì)有問(wèn)題。所以像今年中國(guó)移動(dòng)也有自主開(kāi)發(fā)大賽，它的條件就是所有的這些應(yīng)用都是我們員工自己寫代碼做的，同時(shí)，像今年我們的科技進(jìn)步獎(jiǎng)評(píng)獎(jiǎng)之類的，要求也必須是自主研發(fā)，所以大家可以看到傳統(tǒng)行業(yè)也在轉(zhuǎn)變。
　　在數(shù)據(jù)管理、大數(shù)據(jù)的開(kāi)放方面，我們一方面積極的去建立公司內(nèi)部的數(shù)據(jù)管控體系，首先知道內(nèi)部的數(shù)據(jù)的家底是什么，要摸清楚，第二是數(shù)據(jù)的標(biāo)準(zhǔn)化，未來(lái)對(duì)數(shù)據(jù)質(zhì)量有管控。
　　前面很多專家提到了，盡管大家對(duì)大數(shù)據(jù)未來(lái)的商業(yè)預(yù)期非常大，但實(shí)際上現(xiàn)在看起來(lái)效果并沒(méi)有那么明顯，有很多公司過(guò)來(lái)找中國(guó)移動(dòng)，說(shuō)像咱們交通行業(yè)可以一塊做點(diǎn)什么，也有一些比如像客戶的營(yíng)銷等等方面，說(shuō)我需要你中國(guó)移動(dòng)的數(shù)據(jù)，甚至有很多金融的行業(yè)認(rèn)證方面也需要你的一些數(shù)據(jù)。但我感覺(jué)現(xiàn)在都沒(méi)有找到一個(gè)解決用戶痛點(diǎn)的應(yīng)用，也就是說(shuō)這個(gè)東西好多都不是剛需，頂多是解決一個(gè)點(diǎn)。目前我們?cè)谕七M(jìn)大數(shù)據(jù)過(guò)程中，一方面積極，第二方面比較慎重，所以我們非常關(guān)注大數(shù)據(jù)這個(gè)系統(tǒng)它的建設(shè)和應(yīng)用怎么去高效和低成本。
　　在整個(gè)大數(shù)據(jù)系統(tǒng)設(shè)計(jì)思路上來(lái)說(shuō)，我們按這四個(gè)方面去考慮：
　　第一，集中化數(shù)據(jù)管理，因?yàn)槲覀兡壳暗臄?shù)據(jù)是分散存放，它的資源利用率非常低，數(shù)據(jù)冗余很高，同時(shí)不利于多域數(shù)據(jù)融合和交叉使用，所以集中的數(shù)據(jù)管理，對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化進(jìn)行統(tǒng)一管理，對(duì)跨省的數(shù)據(jù)也統(tǒng)一管理，同時(shí)有效描述這個(gè)數(shù)據(jù)，讓非這個(gè)業(yè)務(wù)領(lǐng)域人通過(guò)這個(gè)描述很容易理解，同時(shí)知道怎么用。同時(shí)，數(shù)據(jù)安全和數(shù)據(jù)質(zhì)量方面也非常重要。
　　第二，多樣化服務(wù)模式。現(xiàn)在數(shù)據(jù)它本身的管理、維護(hù)、和數(shù)據(jù)的應(yīng)用對(duì)人的能力要求是不一樣的。未來(lái)集中化的數(shù)據(jù)維護(hù)和數(shù)據(jù)管理團(tuán)隊(duì)更應(yīng)該是IT背景，怎么把這個(gè)數(shù)據(jù)有效管好，并且做初步的預(yù)處理等等。但是真正的應(yīng)用一定要放給業(yè)務(wù)人員，因?yàn)槎畼I(yè)務(wù)的人才能最好地應(yīng)用這個(gè)數(shù)據(jù)。這里問(wèn)題在于中間的界面，我們覺(jué)得未來(lái)數(shù)據(jù)一定要服務(wù)化，有三種模式，第一種，DaaS，數(shù)據(jù)就是服務(wù)，舉例來(lái)說(shuō)，某個(gè)單位它需要數(shù)據(jù)，作為數(shù)據(jù)管理的團(tuán)隊(duì)，我按你的要求把不同數(shù)據(jù)整合成個(gè)寬表給你，這就是DaaS的服務(wù)。第二種，PaaS，尤其外部數(shù)據(jù)服務(wù)的時(shí)候，有些數(shù)據(jù)沒(méi)有辦法離開(kāi)數(shù)據(jù)平臺(tái)，王堅(jiān)博士也說(shuō)他們的數(shù)據(jù)盡管做了很多脫敏，但是給了第三方以后，開(kāi)發(fā)者能夠從中發(fā)現(xiàn)很多有隱私的信息，所以實(shí)際上只有數(shù)據(jù)維度夠多，盡管你去掉了你認(rèn)為是隱私的數(shù)據(jù)，最后還是能把用戶非常機(jī)密的信息挖掘出來(lái)。在這種條件之下我們來(lái)提供平臺(tái)，提供各種各樣數(shù)據(jù)分析挖掘的工具，你在我的平臺(tái)上用我的數(shù)據(jù)運(yùn)行出你需要的結(jié)果，這是就PaaS，第三種是SaaS，比如出報(bào)告可以通過(guò)這種模式。同時(shí)，這個(gè)平臺(tái)應(yīng)該高度的資助化和自動(dòng)化，用戶在平臺(tái)上很容易獲取他要的數(shù)據(jù)集，把多個(gè)數(shù)據(jù)集整合在一起，申請(qǐng)他相應(yīng)需要的服務(wù)，比如Hadoop、Spark或高級(jí)工具，最終實(shí)現(xiàn)它業(yè)務(wù)想要的結(jié)果。
　　第三，精細(xì)化的資源管理。這要實(shí)現(xiàn)多租戶支持，通過(guò)虛擬化的技術(shù)。我們現(xiàn)在非常關(guān)注容器技術(shù)，因?yàn)槲覀兾磥?lái)大數(shù)據(jù)系統(tǒng)必定是多任務(wù)并行運(yùn)行的環(huán)境，在這種并行運(yùn)行的環(huán)境我們必須對(duì)它資源進(jìn)行有效的處理，把這個(gè)任務(wù)有效的調(diào)度，最大限度使用我這個(gè)平臺(tái)。所以我們要求未來(lái)一定要是個(gè)支持多租戶的環(huán)境。同時(shí)，冷熱數(shù)據(jù)要進(jìn)行分級(jí)存儲(chǔ)，對(duì)一些不需要的數(shù)據(jù)，要把它放在低成本的存儲(chǔ)系統(tǒng)里，同時(shí)，對(duì)于這個(gè)系統(tǒng)要有一個(gè)系統(tǒng)老化的管理，就是有些長(zhǎng)期不用的數(shù)據(jù)，或者這個(gè)數(shù)據(jù)需求很小，在系統(tǒng)內(nèi)部應(yīng)該把它剔除掉。同時(shí)，網(wǎng)絡(luò)壓縮節(jié)省帶寬。
　　第四，高效的任務(wù)調(diào)度。我們要執(zhí)行并行計(jì)算框架，比如Spark是我們非常關(guān)心的新技術(shù)，Spark的確在高性能、要求實(shí)施性高這樣一些內(nèi)存類的計(jì)算里面非常有優(yōu)勢(shì)。但是我們還有一些面向離線批處理的，還有一些流式等等，各種各樣計(jì)算模式在平臺(tái)中都要去支持，適應(yīng)各種不同的業(yè)務(wù)類型。同時(shí)，要支持標(biāo)準(zhǔn)SQL，給客戶更好的UI，支持傳統(tǒng)數(shù)據(jù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)工程師所習(xí)慣用的接口和工具。當(dāng)然，我們希望在可視化上做工作，比如數(shù)據(jù)挖掘、ETL、流式處理的工具都可以實(shí)現(xiàn)拖拉拽，把常用的模型算法固化在里面，這樣對(duì)業(yè)務(wù)人員來(lái)說(shuō)，他簡(jiǎn)單配置就可以達(dá)到要形成的數(shù)據(jù)挖掘和分析的業(yè)務(wù)流程。
　　這是按照我們剛才的設(shè)想去做的一個(gè)系統(tǒng)架構(gòu)圖，蘇州研發(fā)中心現(xiàn)在基本實(shí)現(xiàn)這個(gè)系統(tǒng)，當(dāng)然，很多地方還在不斷優(yōu)化，其實(shí)有很多問(wèn)題，像安全問(wèn)題，像源數(shù)據(jù)管理等等這樣的問(wèn)題，我們希望跟業(yè)界共同探索，因?yàn)樵跇I(yè)界是比較新的，需要不斷探索的技術(shù)領(lǐng)域。
　　在應(yīng)用方面，我們跟上午聯(lián)通領(lǐng)導(dǎo)講到的比較類似，我們主要的應(yīng)用，一方面包括網(wǎng)絡(luò)優(yōu)化，二是市場(chǎng)營(yíng)銷，三是客戶體驗(yàn)，同時(shí)我們現(xiàn)在開(kāi)始探索一些外部大數(shù)據(jù)變現(xiàn)的服務(wù)。在這個(gè)過(guò)程當(dāng)中中國(guó)移動(dòng)不斷對(duì)大數(shù)據(jù)應(yīng)用進(jìn)行深入探索，包括像我們的垃圾短信，這是大數(shù)據(jù)應(yīng)用的新領(lǐng)域，像騷擾電話一直困擾中國(guó)移動(dòng)，怎么用大數(shù)據(jù)方法自動(dòng)識(shí)別，如果我們用傳統(tǒng)手工的方式去解決的話，這個(gè)工作量太大。
　　下面從幾個(gè)案例分析來(lái)講，一方面跟大家分享中國(guó)移動(dòng)和中國(guó)移動(dòng)蘇州研發(fā)中心到底在做什么，第二方面是我們大數(shù)據(jù)目前有幾種比較典型的商業(yè)模式在去做。第一個(gè)，不良信息治理，中國(guó)移動(dòng)很多年一直在做，每年315我們都很緊張，因?yàn)橛袔啄甑?15晚會(huì)上都點(diǎn)名我們的垃圾短信，其實(shí)中國(guó)移動(dòng)在這方面投入很多工作，原來(lái)的方式都通過(guò)用戶行為識(shí)別、模式匹配，比如發(fā)垃圾短信的發(fā)送特點(diǎn)、頻率、時(shí)段以及號(hào)碼群體等等，這些都能夠體現(xiàn)出來(lái)他是個(gè)惡意用戶，他發(fā)的短信可能是垃圾短信，所以原來(lái)傳統(tǒng)方式是我們用行為匹配、用戶行為特征方式進(jìn)行垃圾短信排除，但是這種做下來(lái)，每天有幾十萬(wàn)上百萬(wàn)無(wú)法識(shí)別的短信要到我們后臺(tái)人工去做。
　　中國(guó)移動(dòng)在河南那邊有個(gè)安全的操作中心，他們很多人在人工去做這方面的事情，所以帶來(lái)一個(gè)需求，就是我怎么樣通過(guò)大數(shù)據(jù)的方式再進(jìn)一步把無(wú)法識(shí)別的垃圾短信搜集出來(lái)，然后節(jié)省人工的工作量。蘇州研發(fā)中心配合集團(tuán)公司的信息安全中心在做這個(gè)事情，它用了一些自然語(yǔ)言處理的方法，去對(duì)內(nèi)容進(jìn)行分析，發(fā)現(xiàn)比如什么樣字段的組合在垃圾短信方面概率很高。當(dāng)然，現(xiàn)在效果并不是很理解，比原來(lái)基礎(chǔ)之上再進(jìn)一步濾掉百分之三四十垃圾短信的數(shù)據(jù)，但是剩下那些還需要人工去做。所以我們也在考慮結(jié)合文本的深度挖掘，未來(lái)結(jié)合語(yǔ)義的理解，就是我們?cè)趺磁袛嗬绦?，希望機(jī)器用同樣的方式進(jìn)一步提高排查率，降低我們對(duì)人工方面的支出。
　　第二個(gè)案例是服裝行業(yè)的大數(shù)據(jù)解決方案，這是我們的一個(gè)數(shù)據(jù)挖掘工具，跟江蘇的時(shí)尚云公司，以及印度塔塔公司合作，由塔塔作為集成方，我們提供數(shù)據(jù)挖掘平臺(tái)，給服裝時(shí)尚云提供服務(wù)。服裝時(shí)尚云的數(shù)據(jù)是來(lái)自于比如政府，來(lái)自于它互聯(lián)網(wǎng)的收集，還有一些其他企業(yè)的渠道。它想做一個(gè)B2B的大數(shù)據(jù)服務(wù)，給一些服裝廠家提供市場(chǎng)需求、市場(chǎng)營(yíng)銷方面的信息支持，同時(shí)它去分析一下比如原材料，還有時(shí)尚領(lǐng)域顏色、面料等元素的發(fā)展趨勢(shì)，這個(gè)它用得也是非常好，中國(guó)移動(dòng)蘇州研發(fā)中心只提供個(gè)平臺(tái)。這個(gè)階段大家大數(shù)據(jù)的商業(yè)模式大部分是做軟件，我們從2015年工信部電信研究院發(fā)布的一個(gè)報(bào)告可以看得出來(lái)，現(xiàn)在大數(shù)據(jù)產(chǎn)業(yè)大概百分之三四十是軟件，所以現(xiàn)在這個(gè)商業(yè)模式是目前比較成熟的。
　　第三個(gè)案例是一個(gè)制造業(yè)的企業(yè)，就是三一重工，它比我們更是傳統(tǒng)行業(yè)，它的業(yè)務(wù)領(lǐng)域跟IT的距離更遠(yuǎn)，我們?cè)诮涣鞯倪^(guò)程中，他希望我們幫他托管數(shù)據(jù)，去做數(shù)據(jù)的分析，在未來(lái)工業(yè)大數(shù)據(jù)怎么去優(yōu)化工業(yè)提供一些幫助。他最初的訴求是，他數(shù)據(jù)原來(lái)存在Oracle數(shù)據(jù)庫(kù)里面，這個(gè)Oracle數(shù)據(jù)庫(kù)在處理大量數(shù)據(jù)時(shí)能力是不足的，比如政府希望三一重工調(diào)一下全國(guó)挖掘機(jī)開(kāi)工的數(shù)據(jù)，這個(gè)數(shù)據(jù)某種意義上代表前一段時(shí)間中國(guó)房地產(chǎn)市場(chǎng)到底怎么樣，國(guó)家政府一直打個(gè)問(wèn)號(hào)，統(tǒng)計(jì)局的數(shù)據(jù)有很多不可信，它希望從這方面拿到第一手的數(shù)據(jù)，但是三一重工現(xiàn)有的平臺(tái)無(wú)法處理這個(gè)東西。我們?cè)谧约旱脑朴?jì)算平臺(tái)上，給它搭建這樣一個(gè)大數(shù)據(jù)系統(tǒng)，它把數(shù)據(jù)托管過(guò)來(lái)，未來(lái)我們能幫它做初步的數(shù)據(jù)統(tǒng)計(jì)。當(dāng)然，后續(xù)我們還在探索如何進(jìn)一步的去更緊密的合作，比如我?guī)退鐾诰驒C(jī)的運(yùn)行狀況的統(tǒng)計(jì)和分析，比如油耗的分析和預(yù)警等等，通過(guò)大數(shù)據(jù)和傳統(tǒng)業(yè)務(wù)的結(jié)合，真正讓他實(shí)現(xiàn)業(yè)務(wù)的升級(jí)，這也是往工業(yè)4.0或者互聯(lián)網(wǎng)+前進(jìn)的一步。在這種商業(yè)模式過(guò)程中，首先我是平臺(tái)的出租方，我們提供云計(jì)算的基礎(chǔ)設(shè)施，數(shù)據(jù)存儲(chǔ)和托管的基礎(chǔ)平臺(tái)，同時(shí)，在這個(gè)基礎(chǔ)之上我們?nèi)ヌ剿?，如何利用我們的專業(yè)知識(shí)幫助它提高在業(yè)務(wù)方面的優(yōu)化，這也是我們?cè)谔接懙纳虡I(yè)模式。
?