探索運(yùn)營(yíng)商大數(shù)據(jù)AI能力層的構(gòu)建方案

信運(yùn)營(yíng)商積累了大量的優(yōu)質(zhì)數(shù)據(jù)，介紹了構(gòu)建大數(shù)據(jù)AI能力層的一種方案，大數(shù)據(jù)AI能力層能夠幫助運(yùn)營(yíng)商更好地利用流量紅利和數(shù)據(jù)紅利。對(duì)外通過AI有效提升運(yùn)營(yíng)商客戶服務(wù)水平與市場(chǎng)營(yíng)銷效果，同時(shí)拓寬運(yùn)營(yíng)商的服務(wù)類型和業(yè)務(wù)范圍；對(duì)內(nèi)使用 AI推進(jìn)網(wǎng)路虛擬化和云技術(shù)，提高自動(dòng)化水平，降低資本和運(yùn)營(yíng)支出。

前言

經(jīng)過多年的高速發(fā)展，電信運(yùn)營(yíng)商目前已經(jīng)積累了大量的數(shù)據(jù)，其中包括行業(yè)綜合數(shù)據(jù)、用戶使用交互信息、用戶消費(fèi)數(shù)據(jù)、設(shè)備日志記錄等結(jié)構(gòu)化數(shù)據(jù)，與文本、音視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)。AI 人工智能經(jīng)過數(shù)十年的發(fā)展，很多算法已經(jīng)非常成熟穩(wěn)定，能夠廣泛應(yīng)用到生產(chǎn)、生活的各個(gè)方面。2016年 AlphaGo 事件以后，AI 受到了全世界的矚目，以谷歌、FaceBook、微軟、阿里巴巴、百度等為代表的互聯(lián)網(wǎng)企業(yè)在近幾年也利用AI在各個(gè)行業(yè)積極布局。

目前我國(guó)電信產(chǎn)業(yè)已無法從人口紅利模式中繼續(xù)獲取高速發(fā)展，轉(zhuǎn)而逐漸重視流量紅利和數(shù)據(jù)紅利。運(yùn)營(yíng)商走在信息網(wǎng)絡(luò)的最前沿，能獲取用戶最真實(shí)、最核心的數(shù)據(jù)，同時(shí)一直為用戶提供全面的ICT服務(wù)。對(duì)外，AI的使用能夠有效提升運(yùn)營(yíng)商客戶服務(wù)水平與市場(chǎng)營(yíng)銷效果，同時(shí)能夠拓寬運(yùn)營(yíng)商的服務(wù)類型和業(yè)務(wù)范圍；對(duì)內(nèi)，AI 能夠幫助運(yùn)營(yíng)商推進(jìn)網(wǎng)路虛擬化和云技術(shù)，達(dá)到提高自動(dòng)化水平，降低資本和運(yùn)營(yíng)支出的效果。

1

AI能力層相關(guān)技術(shù)

1.1 人工智能

人工智能（AI），也稱機(jī)器智能、智能模擬等，它是計(jì)算機(jī)科學(xué)、控制論、信息論、神經(jīng)生理學(xué)、心理學(xué)、語(yǔ)言學(xué)等多種學(xué)科互相滲透而發(fā)展起來的一門綜合性學(xué)科。人工智能是用來研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的科學(xué)。目前已在知識(shí)處理、模式識(shí)別、自然語(yǔ)言處理、博弈、自動(dòng)定理證明、自動(dòng)程序設(shè)計(jì)、專家系統(tǒng)、知識(shí)庫(kù)、智能機(jī)器人等多個(gè)領(lǐng)域取得舉世矚目的成果，并形成了多元化的發(fā)展方向。

1.2 Python

Python是一門解釋性的、面向?qū)ο蟮?、?dòng)態(tài)語(yǔ)義特征的高層語(yǔ)言。它的高層次的內(nèi)建數(shù)據(jù)結(jié)構(gòu)，以及動(dòng)態(tài)類型和動(dòng)態(tài)綁定，使得它非常適合于快速應(yīng)用開發(fā)。Python 的簡(jiǎn)單而易于閱讀的語(yǔ)法強(qiáng)調(diào)了可讀性，因此降低了程序維護(hù)的費(fèi)用。Python 支持模塊和包，并鼓勵(lì)程序模塊化和代碼重用。Python的解釋器和標(biāo)準(zhǔn)擴(kuò)展庫(kù)的源碼和二進(jìn)制格式在各個(gè)主要平臺(tái)上都可以免費(fèi)得到、免費(fèi)分發(fā)。

1.3 Docker技術(shù)

Docker 是一個(gè)開源的容器引擎，可以方便地對(duì)容器進(jìn)行管理。其對(duì)鏡像的打包封裝，以及引入的DockerRegistry對(duì)鏡像的統(tǒng)一管理，構(gòu)建了方便快捷的“Build，Ship and Run”流程，它可以統(tǒng)一整個(gè)開發(fā)、測(cè)試和部署的環(huán)境和流程，極大地減少運(yùn)維成本。另外，得益于容器技術(shù)帶來的輕量級(jí)虛擬化，以及 Docker在分層鏡像應(yīng)用上的創(chuàng)新，Docker在磁盤占用、性能和效率方面相較于傳統(tǒng)的虛擬化都有非常明顯的提高。因?yàn)?Docker是基于容器技術(shù)的輕量級(jí)虛擬化，相對(duì)于傳統(tǒng)的虛擬化技術(shù)，省去了 Hypervisor層的開銷，而且其虛擬化技術(shù)是基于內(nèi)核的 Cgroup 和 Namespace 技術(shù)，處理邏輯與內(nèi)核深度融合，所以在很多方面，它的性能與物理機(jī)非常接近。

1.4 TensorFlow

TensorFlow是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，是用來制作 AlphaGo 的一個(gè)開源的深度學(xué)習(xí)系統(tǒng)，其命名來源于本身的運(yùn)行原理。張量（Tensor）意味著N維數(shù)組，流（Flow）意味著基于數(shù)據(jù)流圖的計(jì)算，TensorFlow 為張量從流圖的一端流動(dòng)到另一端的計(jì)算過程。TensorFlow是將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)中進(jìn)行分析和處理過程的系統(tǒng)。TensorFlow可被用于語(yǔ)音識(shí)別或圖像識(shí)別等多項(xiàng)機(jī)器深度學(xué)習(xí)領(lǐng)域，對(duì)2011年開發(fā)的深度學(xué)習(xí)基礎(chǔ)架構(gòu)DistBelief進(jìn)行了各方面的改進(jìn)，它可在小到一部智能手機(jī)、大到數(shù)千臺(tái)數(shù)據(jù)中心服務(wù)器的各種設(shè)備上運(yùn)行。TensorFlow完全開源，任何人都可以用。

2

大數(shù)據(jù)AI能力層構(gòu)建方案

2.1 運(yùn)營(yíng)商大數(shù)據(jù)現(xiàn)狀

從數(shù)據(jù)規(guī)模來看，截至 2018 年 6 月，中國(guó) 4G 用戶數(shù)已突破 11億，移動(dòng)用戶已近 15億，基于如此龐大的用戶數(shù)，無論是用戶信息、消費(fèi)記錄還是設(shè)備日志數(shù)據(jù)均體量龐大且保持快速增長(zhǎng)。江蘇聯(lián)通天璣數(shù)據(jù)中心目前每日入庫(kù)數(shù)據(jù)超過 600 億行，每日集群各任務(wù)使用數(shù)據(jù)量超過100 TB。

從數(shù)據(jù)質(zhì)量來看，運(yùn)營(yíng)商數(shù)據(jù)都是基于真實(shí)用戶使用記錄以及設(shè)備運(yùn)行記錄，具備真實(shí)性和完整性，是非常優(yōu)質(zhì)的數(shù)據(jù)。江蘇聯(lián)通天璣數(shù)據(jù)中心作為O域綜合數(shù)據(jù)中心，目前接入了移動(dòng)網(wǎng)核心網(wǎng)信令數(shù)據(jù)、移動(dòng)網(wǎng) MR 信令數(shù)據(jù)、移動(dòng)網(wǎng)性能數(shù)據(jù)、客服類數(shù)據(jù)、固網(wǎng)信令數(shù)據(jù)、固網(wǎng)認(rèn)證數(shù)據(jù)、設(shè)備告警數(shù)據(jù)、部分 B 域數(shù)據(jù)等多種數(shù)據(jù)源，全部為用戶、設(shè)備日常產(chǎn)生的真實(shí)數(shù)據(jù)。

從數(shù)據(jù)使用來看，運(yùn)營(yíng)商數(shù)據(jù)使用者類型各異，需求類型眾多。有些數(shù)據(jù)分析如位置營(yíng)銷數(shù)據(jù)需要實(shí)時(shí)輸出分析結(jié)果，有些數(shù)據(jù)如核心網(wǎng)信令統(tǒng)計(jì)數(shù)據(jù)則需要非實(shí)時(shí)的大數(shù)據(jù)量運(yùn)算；有些數(shù)據(jù)使用者需要使用集群的計(jì)算資源與數(shù)據(jù)資源，有些數(shù)據(jù)使用者需要使用自有計(jì)算框架，有些使用者需要使用專用AI計(jì)算設(shè)備。

2.2 大數(shù)據(jù)AI能力層構(gòu)建

結(jié)合運(yùn)營(yíng)商大數(shù)據(jù)特點(diǎn)與數(shù)據(jù)使用現(xiàn)狀，采用單一數(shù)據(jù)源、松耦合、高異構(gòu)的原則構(gòu)建江蘇聯(lián)通天璣數(shù)據(jù)中心 AI能力層。天璣數(shù)據(jù)中心 Hadoop集群提供唯一數(shù)據(jù)源，軟件上搭建 Docker 集群Python 計(jì)算節(jié)點(diǎn)、TensorFlow 節(jié)點(diǎn)等多種計(jì)算平臺(tái)，硬件上部署了 Hadoop 集群服務(wù)器、單節(jié)點(diǎn)高性能計(jì)算服務(wù)器、GPU 加速AI服務(wù)器等，各平臺(tái)之間既相互獨(dú)立又能夠互通數(shù)據(jù)、互相調(diào)用計(jì)算資源。

圖1示出的是天璣數(shù)據(jù)中心分層架構(gòu)。

▲圖1 天璣數(shù)據(jù)中心分層架構(gòu)

2.2.1 Docker集群

在運(yùn)營(yíng)商大數(shù)據(jù)使用場(chǎng)景中，經(jīng)常會(huì)有臨時(shí)的大數(shù)據(jù)量分析任務(wù)，如重大節(jié)假日保障、重要會(huì)議保障、自然災(zāi)害臨時(shí)保障等數(shù)據(jù)分析場(chǎng)景，這些任務(wù)開啟時(shí)通常需要臨時(shí)調(diào)度大量計(jì)算資源，但場(chǎng)景結(jié)束后這些計(jì)算資源就完全閑置下來。大數(shù)據(jù)分析算法通常具有非常復(fù)雜的架構(gòu)，很多數(shù)據(jù)使用者需要在多臺(tái)節(jié)點(diǎn)上重復(fù)部署大量依賴環(huán)境，浪費(fèi)了很多時(shí)間、精力。

針對(duì)以上使用場(chǎng)景，部署了 Docker 集群。Docker集群所具備的快速部署、快速調(diào)度的特點(diǎn)非常適用于重保數(shù)據(jù)分析場(chǎng)景，任務(wù)開啟時(shí)可以臨時(shí)開啟大批量Docker容器參與計(jì)算，任務(wù)結(jié)束后 Docker容器即可關(guān)閉，無需冗雜的資源釋放、清理工作。Docker容器能將完整的程序運(yùn)行環(huán)境進(jìn)行一次封裝、多處調(diào)用，節(jié)省了大量計(jì)算環(huán)境部署的時(shí)間。

2.2.2 Python計(jì)算節(jié)點(diǎn)

Python用于機(jī)器學(xué)習(xí)開發(fā)環(huán)境，具有如下優(yōu)點(diǎn)。

a）Python是解釋語(yǔ)言，程序?qū)懫饋矸浅７奖?。寫程序方便?duì)做機(jī)器學(xué)習(xí)的人很重要。因?yàn)榻?jīng)常需要對(duì)模型進(jìn)行各種各樣的修改，這在編譯語(yǔ)言里很可能是牽一發(fā)而動(dòng)全身的事情，Python 里通?？梢杂煤苌俚臅r(shí)間實(shí)現(xiàn)。

b）Python的開發(fā)生態(tài)成熟，有很多有用的庫(kù)可以用。Python具備NumPy、SciPy、NLTK、os（自帶）等豐富的API庫(kù)，極大地方便了算法開發(fā)者，使其將精力專注于算法的設(shè)計(jì)上來。Python靈活的語(yǔ)法還使得包括文本操作、list/dict comprehension等非常實(shí)用的功能非常容易高效實(shí)現(xiàn)（編寫和運(yùn)行效率都高），配合lambda等使用更是方便。

c）Python 的效率很高。解釋語(yǔ)言的發(fā)展已經(jīng)大大超過許多人的想象。很多比如 list comprehension 的語(yǔ)法都是貼近內(nèi)核實(shí)現(xiàn)的。除了JIT之外，還有Cython可以大幅增加運(yùn)行效率。最后，得益于 Python 對(duì) C 的接口，很多像 gnumpy、theano 這樣高效、Python 接口友好的庫(kù)可以加速程序的運(yùn)行。

此外，Python 還具備數(shù)據(jù)存儲(chǔ)方便、數(shù)據(jù)獲取方便、數(shù)據(jù)運(yùn)算方便、輸出結(jié)果方便、和其他語(yǔ)言交互方便、調(diào)用GPU加速方便、云系統(tǒng)支持方便等種種優(yōu)點(diǎn)。

2.2.3 TensorFlow環(huán)境

TensorFlow可用于語(yǔ)音識(shí)別或圖像識(shí)別等多項(xiàng)機(jī)器深度學(xué)習(xí)領(lǐng)域，并且TensorFlow完全開源，任何人都可以用。

TensorFlow 表達(dá)了高層次的機(jī)器學(xué)習(xí)計(jì)算，大幅簡(jiǎn)化了第一代系統(tǒng)，并且具備更好的靈活性和可延展性。TensorFlow 一大亮點(diǎn)是支持異構(gòu)設(shè)備分布式計(jì)算，它能夠在各個(gè)平臺(tái)上自動(dòng)運(yùn)行模型，從手機(jī)、單個(gè)CPU/GPU 到成百上千 GPU 卡組成的分布式系統(tǒng)。從目前的文檔看，TensorFlow 支持 CNN、RNN 和 LSTM 算法，這都是目前在 Image、Speech 和 NLP 最流行的深度神經(jīng)網(wǎng)絡(luò)模型。

在江蘇聯(lián)通MR共享層項(xiàng)目中，針對(duì)MR定位分析算法，TensorFlow 框架的加入提升了 30% 的運(yùn)算速度與10%的數(shù)據(jù)準(zhǔn)確性。

2.3 各AI計(jì)算平臺(tái)協(xié)作

天璣數(shù)據(jù)中心AI能力層采用松耦合架構(gòu)，各AI計(jì)算平臺(tái)皆可獨(dú)立運(yùn)行，但各平臺(tái)如果全部獨(dú)立運(yùn)行無法發(fā)揮大數(shù)據(jù)優(yōu)勢(shì)，平臺(tái)之間需要相互協(xié)作才能將各自優(yōu)勢(shì)最大化。

圖2示出的是各AI能力層相互協(xié)作結(jié)構(gòu)。天璣數(shù)據(jù)中心AI能力層建設(shè)原則為：所有數(shù)據(jù)存儲(chǔ)在 Hadoop 平臺(tái)中，各 AI 計(jì)算平臺(tái)都需要通過接口機(jī)連接到 Hadoop 平臺(tái)，進(jìn)行身份驗(yàn)證和數(shù)據(jù)讀取，然后才能進(jìn)行數(shù)據(jù)分析，數(shù)據(jù)分析結(jié)果可輸出也可寫入Hadoop集群。

▲圖2 各AI能力層相互協(xié)作結(jié)構(gòu)

Docker 平臺(tái)本身是一個(gè)容器調(diào)度框架，可以在容器中封裝 Python、TensorFlow 等計(jì)算環(huán)境，Docker 集群中有一臺(tái) Hadoop 接口機(jī)，作為權(quán)限認(rèn)證、數(shù)據(jù)讀取的中間環(huán)節(jié)，Docker集群可以通過接口機(jī)從Hadoop集群中讀取數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)處理、分析。

Python節(jié)點(diǎn)安裝 Hadoop代理，本身可以作為集群權(quán)限認(rèn)證、讀取數(shù)據(jù)的節(jié)點(diǎn)，可以將數(shù)據(jù)讀取后進(jìn)行分析。但是 Python 語(yǔ)言本身性能有限，并且無法進(jìn)行并行計(jì)算，數(shù)據(jù)量增加到一定程度就無法很好地完成任務(wù)?？墒褂肞ySpark框架來通過Python調(diào)用Hadoop的計(jì)算資源。為了不破壞 Spark 已有的運(yùn)行時(shí)架構(gòu)，Spark 在外圍包裝一層 Python API，借助 Py4j 實(shí)現(xiàn) Python和Java的交互，進(jìn)而實(shí)現(xiàn)通過Python編寫Spark應(yīng)用程序，其運(yùn)行時(shí)架構(gòu)如圖3所示。

▲圖3 PySpark架構(gòu)

3

AI能力層應(yīng)用案例

公司提出了推動(dòng) 2G 用戶遷轉(zhuǎn) 4G 的要求，需要通過對(duì)天璣數(shù)據(jù)中心相關(guān)數(shù)據(jù)進(jìn)行挖掘，智能推薦2G遷轉(zhuǎn)4G目標(biāo)用戶群。本系統(tǒng)共計(jì)分為2個(gè)模型。

3.1 2G轉(zhuǎn)4G潛在客戶識(shí)別模型

在用戶畫像的基礎(chǔ)上，分別篩選歷史完成2G遷轉(zhuǎn)4G 的用戶歷史消費(fèi)數(shù)據(jù)，通過機(jī)器學(xué)習(xí)算法，提取出這些用戶的特征，并以此來識(shí)別當(dāng)前登網(wǎng) 2G 用戶中，具備這些特征的消費(fèi)者，將之識(shí)別為高推薦值的用戶。

3.1.1 模型input參數(shù)

通過用戶畫像，主要輸入無量綱字段帶入模型中計(jì)算。引入無量綱字段具有如下優(yōu)點(diǎn)。

a）避免了歸一化的問題。

b）后續(xù)若要引入集成模型，進(jìn)一步提高模型準(zhǔn)確度，不需要額外的數(shù)據(jù)處理工作。

c）適用于BP神經(jīng)網(wǎng)絡(luò)模型。

導(dǎo)入模型的數(shù)據(jù)實(shí)例見表1。研究 2018 年 1—6 月用戶的情況，若 1 月份為 2G用戶，6 月份為 4G 用戶，則選擇該用戶 1 月份的數(shù)據(jù)，并設(shè)置為正例。若1月份為2G用戶，6月份仍為2G用戶，則選擇該用戶1月份的數(shù)據(jù)，并設(shè)置為反例。

▲表1 導(dǎo)入模型數(shù)據(jù)實(shí)例

3.1.2 模型的設(shè)置

模型采用 xgboost，在構(gòu)建模型階段，要特別注意數(shù)據(jù)不平衡的問題。從歷史數(shù)據(jù)看，反例樣本數(shù)據(jù)量為正例樣本數(shù)據(jù)量的 5~7 倍，遠(yuǎn)遠(yuǎn)高于正例樣本的數(shù)據(jù)量。為了消除樣本不平衡的問題，可采用如下方法。

a）在調(diào)參中設(shè)置樣本不平衡參數(shù)，進(jìn)行糾偏。

b）選取部分反例樣本，舍棄多余樣本，達(dá)到正反例平衡。

c）增加正例樣本的數(shù)目，可以通過復(fù)制部分正例，或者通過算法增加虛擬的正例樣本數(shù)目。

d）切割反例樣本 n份，每份反例樣本均與正例進(jìn)行模型計(jì)算，計(jì)算結(jié)果進(jìn)行投票統(tǒng)計(jì)或者求取平均值。本模型采用第4種方法。

模型示意圖如圖4所示。

▲圖4 2G轉(zhuǎn)4G潛在客戶識(shí)別模型示意圖

3.1.3 模型訓(xùn)練環(huán)境

通過PySpark組件，直接調(diào)用Hadoop集群Spark組件，使用Hadoop集群的計(jì)算資源和數(shù)據(jù)資源進(jìn)行模型訓(xùn)練。

3.2 潛在換機(jī)預(yù)測(cè)模型

選取入網(wǎng)時(shí)長(zhǎng)超過9個(gè)月的現(xiàn)網(wǎng)存量用戶，與前8個(gè)月關(guān)聯(lián)，保留存量用戶。根據(jù)用戶歷史數(shù)據(jù)，預(yù)測(cè)下個(gè)月是否會(huì)換手機(jī)。

3.2.1 輸入數(shù)據(jù)清洗

選取入網(wǎng)時(shí)長(zhǎng)超過9個(gè)月的現(xiàn)網(wǎng)存量用戶，與前8個(gè)月關(guān)聯(lián)，保留存量用戶，并篩選出手機(jī)用戶，手機(jī)IMEI號(hào)為正常字符的用戶。選取字段表中相應(yīng)字段，再與終端表中的 mzie_type、is_dual、mz_type 字段進(jìn)行關(guān)聯(lián)。最終得到700萬(wàn)條數(shù)據(jù)。

數(shù)據(jù)字段表見表2。

▲表2 輸入數(shù)據(jù)字段表

3.2.2 數(shù)據(jù)建模

針對(duì)換機(jī)預(yù)測(cè)課題，構(gòu)建基于 xgboost 算法模型，將篩選的 700 萬(wàn)條數(shù)據(jù)分批導(dǎo)入模型進(jìn)行訓(xùn)練，給用戶打上換機(jī)可能性的標(biāo)簽。市場(chǎng)操作時(shí)，可以調(diào)整可能性閾值，來篩選換機(jī)可能性較大的用戶，精確營(yíng)銷。

模型示意圖如圖5所示。

▲ 圖5 潛在換機(jī)預(yù)測(cè)模型示意圖

3.2.3 模型訓(xùn)練環(huán)境

通過Hadoop集群Hive數(shù)據(jù)倉(cāng)庫(kù)讀取相關(guān)數(shù)據(jù)，讀取到 Python 計(jì)算節(jié)點(diǎn)，使用相關(guān)硬件加速接口調(diào)用GPU進(jìn)行計(jì)算加速。

3.3 2G遷轉(zhuǎn)4G用戶數(shù)據(jù)挖掘模型效果

以 IMEI號(hào)為標(biāo)識(shí)，挖掘用戶近 9個(gè)月的終端更換情況，并統(tǒng)計(jì)這9個(gè)月用戶更換手機(jī)次數(shù)。預(yù)測(cè)月前3個(gè)月賬單、流量、通話的增長(zhǎng)、減少情況。用戶年齡、性別、入網(wǎng)時(shí)長(zhǎng)、NPS 評(píng)分等信息。將數(shù)據(jù)送入 xgboost算法進(jìn)行訓(xùn)練，得到換機(jī)預(yù)測(cè)算法模型。再將需要預(yù)測(cè)月份的數(shù)據(jù)送入模型，得到該月用戶換手機(jī)的可能性指標(biāo)。篩選可能性大于某一閾值的用戶名單，系統(tǒng)直接推送給相關(guān)市場(chǎng)部門，進(jìn)行精準(zhǔn)營(yíng)銷。本次以沭陽(yáng)的4個(gè)營(yíng)業(yè)廳作為潛在換機(jī)客戶營(yíng)銷試點(diǎn)。一個(gè)星期的時(shí)間，共撥通 106戶，其中成功辦理 14戶，撥通辦理成功率為13.2%。相較于非精準(zhǔn)營(yíng)銷的普通營(yíng)銷方式，每月到營(yíng)業(yè)廳辦理中國(guó)聯(lián)通合約機(jī)，占每月中國(guó)聯(lián)通用戶換手機(jī)總數(shù)的2%這個(gè)比例，有了500%以上的提升，達(dá)到了精準(zhǔn)營(yíng)銷的目的。