Analytics Zoo: 統(tǒng)一的大數(shù)據(jù)分析+AI 平臺(tái)

5月25日-26日，由中國(guó)人工智能學(xué)會(huì)主辦，南京市麒麟科技創(chuàng)新園管理委員會(huì)與京東云共同承辦的2019全球人工智能技術(shù)大會(huì)（2019 GAITC）在南京紫金山莊成功舉行。

在第一天的主論壇上，英特爾高級(jí)首席工程師、大數(shù)據(jù)技術(shù)全球 CTO戴金權(quán)發(fā)表了主題為《Analytics Zoo: 統(tǒng)一的大數(shù)據(jù)分析+AI 平臺(tái)》的精彩演講。

戴金權(quán)

英特爾高級(jí)首席工程師、大數(shù)據(jù)技術(shù)全球 CTO

以下是戴總的演講實(shí)錄：

在英特爾如何構(gòu)建統(tǒng)一的大數(shù)據(jù)分析+AI 平臺(tái)（我們稱(chēng)為開(kāi)源項(xiàng)目），幫助客戶(hù)更高效地開(kāi)發(fā)大數(shù)據(jù)、大規(guī)模深度學(xué)習(xí)的應(yīng)用。英特爾致力于提供端到端，從設(shè)備端到邊緣，再到數(shù)據(jù)中心云端完整的計(jì)算架構(gòu)，比如在數(shù)據(jù)中心，今天英特爾志強(qiáng)服務(wù)器是 AI 應(yīng)用分析的基礎(chǔ)架構(gòu)，月提供了多種像神經(jīng)網(wǎng)絡(luò)處理器等豐富的硬件架構(gòu)。同樣在軟件上，我們也是致力于提供全站的解決方案，從最底層的核心算子開(kāi)源項(xiàng)目可以幫助用戶(hù)更高效開(kāi)發(fā)他們的計(jì)算庫(kù)；再到上層各種機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的框架，比如對(duì)開(kāi)源的 Analytics Zoo，深度學(xué)習(xí)做了大量的優(yōu)化工作；再到最上層，也提供了一些開(kāi)源工具包，目的是幫助應(yīng)用開(kāi)發(fā)人員更高效地開(kāi)發(fā)基于深度學(xué)習(xí)的應(yīng)用。

今天在這里著重分享的是基于大數(shù)據(jù)分析處理的框架上開(kāi)發(fā)并且開(kāi)源的兩個(gè)項(xiàng)目，一個(gè)是 BIGDL，是我們兩年半以前開(kāi)源的一個(gè)深度學(xué)習(xí)的框架；在這個(gè)基礎(chǔ)上，去年又開(kāi)源了 Analytics Zoo，構(gòu)建一個(gè)端到端的大數(shù)據(jù)分析 + 深度學(xué)習(xí)的平臺(tái)。為什么在英特爾開(kāi)發(fā)，并且開(kāi)源基于大數(shù)據(jù)平臺(tái)上的大數(shù)據(jù)分析 +AI 的平臺(tái)工具？

下圖中黑色的小框代表機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的模型，它很關(guān)鍵，從某種意義上決定了硬件有怎樣的功能，做到怎樣的事情。但是會(huì)發(fā)現(xiàn)，當(dāng)想把這樣一個(gè)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)模型應(yīng)用到實(shí)際場(chǎng)景，從實(shí)驗(yàn)室搬到現(xiàn)實(shí)工業(yè)級(jí)機(jī)器學(xué)習(xí)中，構(gòu)建這樣的端到端應(yīng)用是非常復(fù)雜的，要有大量的其他模塊，比如怎樣收集數(shù)據(jù)、處理數(shù)據(jù)和驗(yàn)證數(shù)據(jù)，包括資源管理、集群監(jiān)控等。整個(gè)端到端的流水線是由一個(gè)非常多的模塊組成的，一個(gè)端到端大數(shù)據(jù)處理分析再加上深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的流水線。

下圖是我們?cè)趦赡昵昂途〇|的一個(gè)合作。京東帶來(lái)的幾億張圖片，存儲(chǔ)在一個(gè)大規(guī)模分布式大數(shù)據(jù)集群里，我們做的事情是要對(duì)這些圖片——識(shí)別物品。比如，這張圖片上是一只鳥(niǎo)，然后提取特征。從深度學(xué)習(xí)、機(jī)器學(xué)習(xí)來(lái)說(shuō)，不是特別復(fù)雜的應(yīng)用，做物品識(shí)別、提取持證就可以了。但是事實(shí)上發(fā)現(xiàn)，在對(duì)大規(guī)模的圖片讀取數(shù)據(jù)，對(duì)圖片進(jìn)行分布式處理，再進(jìn)行模型推理；當(dāng)識(shí)別物品時(shí)，對(duì)物品進(jìn)行抽取，再進(jìn)行處理，再提取特征等，把整個(gè)端到端流水線在大規(guī)模的圖片里是跑不好的。當(dāng)要把這些機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)應(yīng)用到實(shí)際應(yīng)用中，會(huì)有一個(gè)比較大的斷層，今天很多的科學(xué)家做了非常多的深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的有效工作，但是如何將新技術(shù)、新創(chuàng)新應(yīng)用到現(xiàn)實(shí)環(huán)境中，特別是在一些非常大規(guī)模、大數(shù)據(jù)生產(chǎn)系統(tǒng)中，從軟硬件架構(gòu)上有非常大的一個(gè)斷層。這就是為什么我們會(huì)去開(kāi)源，像BIGDL，特別是 Analytics Zoo 平臺(tái)，能夠?qū)⒉煌哪K不管是用 TensorFlow 還是用Keras，將這些不同模塊的程序能夠無(wú)縫運(yùn)行在端到端流水線上，大大提升開(kāi)發(fā)效率。

總之，我們開(kāi)發(fā)并且開(kāi)源的目的是讓大家更加方便開(kāi)發(fā)大數(shù)據(jù)、大規(guī)模深度學(xué)習(xí)的應(yīng)用。通常很多用戶(hù)開(kāi)始開(kāi)發(fā)應(yīng)用時(shí)，可能在一個(gè)筆記本上構(gòu)建一個(gè)簡(jiǎn)單原形，當(dāng)你覺(jué)得原形看還不錯(cuò)時(shí)，希望可以跑歷史數(shù)據(jù)，對(duì)過(guò)去幾個(gè)月或者幾年的數(shù)據(jù)進(jìn)行一些驗(yàn)證，為端到端的流水線構(gòu)造原形。在實(shí)驗(yàn)上覺(jué)得效果還不錯(cuò)，就希望部署到生產(chǎn)系統(tǒng)中，可能進(jìn)行上線。同時(shí)也是大規(guī)模、大數(shù)據(jù)處理的流水線，可以讓你的程序運(yùn)行在一個(gè)大標(biāo)準(zhǔn)集群里，直接利用現(xiàn)有的大數(shù)據(jù)集群、大數(shù)據(jù)計(jì)算資源運(yùn)行你的程序，從而能夠提高你進(jìn)行開(kāi)發(fā)并且部署深度學(xué)習(xí)應(yīng)用的效率。

有關(guān) Analytics Zoo 一些技術(shù)細(xì)節(jié)的構(gòu)成?？偟膩?lái)說(shuō)，構(gòu)建在很多不同底層計(jì)算的庫(kù)和框架上，在上面構(gòu)建一些豐富的流水線支持；再上面也提供了一些解決方案，包括預(yù)定模型。

下面來(lái)看一下具體的例子。有人和我說(shuō)不要放太多代碼在里面，用 Spark 構(gòu)建一個(gè) RDD，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行分布式處理。對(duì)各種各樣的數(shù)據(jù)源，不管是數(shù)據(jù)倉(cāng)庫(kù)的方式，還是讀寫(xiě)數(shù)據(jù)庫(kù)，或者是讀寫(xiě)各種各樣的分布式文件系統(tǒng)，可以直接使用 Spark Dataframe。下面的圖片是說(shuō)，如能夠使用剛才訓(xùn)練的模型，就可以使用我們的模型推理進(jìn)行大規(guī)模分布式應(yīng)用，在自己 Keras 等框架內(nèi)都很容易將我們深度學(xué)習(xí)模型集成在這些流水式處理或者在線處理中，而且在這個(gè)背后也可以透明地使用像 Analytics Zoo 的工具，對(duì)模型進(jìn)行壓縮加速，包括至強(qiáng)深度學(xué)習(xí)加速指令對(duì)它進(jìn)行加速；同時(shí)可以跑在大規(guī)模集群上進(jìn)行分布式推理。

我們真正的用戶(hù)是怎么具體使用的？解決他們什么問(wèn)題？下圖是我們和美的的合作，他們希望通過(guò)計(jì)算機(jī)視覺(jué)將其生產(chǎn)線生產(chǎn)出來(lái)的產(chǎn)品自動(dòng)識(shí)別瑕疵、沒(méi)有貼標(biāo)簽等。

工業(yè)機(jī)器人接上攝像機(jī)，對(duì)流水線出來(lái)的產(chǎn)品進(jìn)行拍照，拿到照片后進(jìn)行識(shí)別，產(chǎn)品上是不是有缺陷。比如，下圖中可以看到空調(diào)上少了一個(gè)螺絲。上圖中，粉紅色是對(duì)大規(guī)模圖片進(jìn)行處理；黃色是 SSDLite這樣的一個(gè)模型，使用 Analytics Zoo API和 Spark 數(shù)據(jù)可以整合起來(lái)，在 Spark 上進(jìn)行訓(xùn)練。

下面這個(gè)例子是我們和微軟中國(guó)團(tuán)隊(duì)的合作，他們希望給大家提供客戶(hù)。比如，他們有一個(gè)微信公眾號(hào)，在他們的微信公眾號(hào)上可以提問(wèn)題，如怎么聯(lián)不上我的虛擬機(jī)、怎么重啟我的虛擬機(jī)、怎么開(kāi)發(fā)票等。原來(lái)他們的做法是，在特定領(lǐng)域完成特定任務(wù)的對(duì)話。上午的報(bào)告中有很多專(zhuān)家提到，在垂直領(lǐng)域定義模版。他們有很多定義好的流程，可以隨著流程走?，F(xiàn)在很多人不隨著流程走，隨便問(wèn)一些問(wèn)題，怎么開(kāi)不了發(fā)票？因?yàn)閮?nèi)部有大量知識(shí)庫(kù)和準(zhǔn)備好的問(wèn)答，通過(guò)關(guān)鍵詞的匹配可以幫你去搜索，搜索出一些文章，希望滿(mǎn)足你的問(wèn)題。這里，希望我們幫他做一些問(wèn)答匹配，把相關(guān)的回答反饋給用戶(hù)，用戶(hù)看到這些問(wèn)題后，可能解決了他的問(wèn)題或者沒(méi)有；如果沒(méi)有解決，就要轉(zhuǎn)人工處理。轉(zhuǎn)人工處理是非常昂貴的事情，不同的問(wèn)題要轉(zhuǎn)到不同的后臺(tái)，所以要有對(duì)意圖進(jìn)行分類(lèi)的模塊，將問(wèn)題做一些分類(lèi)，到底是財(cái)務(wù)的問(wèn)題，還是網(wǎng)絡(luò)的問(wèn)題，還是虛擬機(jī)的問(wèn)題。

Office Depot，賣(mài)辦公用品的一個(gè)電商，做一些產(chǎn)品的推薦，當(dāng)把一個(gè)物品加入到購(gòu)物車(chē)后，根據(jù)你的行為推薦一些相關(guān)的物品。這是一個(gè)跑在云上的應(yīng)用，使用 Spark 和 Analytics Zoo 上進(jìn)行訓(xùn)練，使用 mleap 就可以直接將 pipeline 模型保存下來(lái)，訓(xùn)練出來(lái)的模型直接部署在 AWS S3，通過(guò) BigDL 把它部署在一個(gè) DNN 進(jìn)行在線推理。

萬(wàn)事達(dá)，希望給大家推送一些促銷(xiāo)信息，到哪里去購(gòu)物，我給你一個(gè)立減等類(lèi)似的優(yōu)惠，希望把這些推送到相關(guān)的客戶(hù)，客戶(hù)收到這些信息后會(huì)買(mǎi)東西。但是有一個(gè)特別的問(wèn)題，我們會(huì)根據(jù)用戶(hù)過(guò)去購(gòu)買(mǎi)行為進(jìn)行分析，將用戶(hù)過(guò)去的購(gòu)買(mǎi)行為、交易的數(shù)據(jù)是放在數(shù)據(jù)庫(kù)里的，怎樣能夠在Apache Hadoop 現(xiàn)有集群上運(yùn)行這些新的深度學(xué)習(xí)應(yīng)用？這時(shí)就可以使用 Analytics Zoo 深度學(xué)習(xí)框架，可以在現(xiàn)有大數(shù)據(jù)分析集群上，和其他的業(yè)務(wù)共享同一個(gè)集群，來(lái)運(yùn)行這些新的深度學(xué)習(xí)應(yīng)用。

CENR，歐洲的盒子研究中心，他們每天都在進(jìn)行每秒大約 4 000 萬(wàn)原子對(duì)撞，產(chǎn)生 1 TB 數(shù)據(jù)，他們希望把這些數(shù)據(jù)存下來(lái)；希望有一個(gè)過(guò)濾機(jī)制，將有用的事件保留、存儲(chǔ)下來(lái)。這樣做可能每秒只存不超過(guò) 10 GB 的數(shù)據(jù)，這些數(shù)據(jù)可以用于以后的分析。他們希望過(guò)濾的越準(zhǔn)確越好，因此分為三種事件，構(gòu)建了一個(gè)深度學(xué)習(xí)模型，通過(guò)深度學(xué)習(xí)進(jìn)行學(xué)習(xí)分類(lèi)，將這些數(shù)據(jù)精確分析，用于以后的工作中。你可以很方便地在 Analytics Zoo 在單機(jī)上進(jìn)行驗(yàn)證，直接運(yùn)行在一個(gè)分布式環(huán)境里進(jìn)行訓(xùn)練，最后訓(xùn)練出結(jié)果。因?yàn)槊棵攵紩?huì)產(chǎn)生 1 TB 數(shù)據(jù)，所以需要一個(gè)在線的、類(lèi)似于像流式處理的平臺(tái)，這里他們用了 Spark DataFrame 進(jìn)行在線預(yù)測(cè)，對(duì)原子對(duì)撞事件進(jìn)行分類(lèi)。

怎么應(yīng)用 Analytics Zoo ？比如在阿里云上面部署 EMR，使用 Analytics Zoo。

最后總結(jié)一下。我們之所以構(gòu)建Analytics Zoo 這樣的統(tǒng)計(jì)大數(shù)據(jù)分析 +AI平臺(tái)，就是希望能夠讓用戶(hù)在現(xiàn)實(shí)的生產(chǎn)環(huán)境中可以更方便構(gòu)架深度學(xué)習(xí)的應(yīng)用，將各種不同的模塊、不同的框架下統(tǒng)一到一個(gè)端到端流水線上，大大提高客戶(hù)開(kāi)發(fā)部署大數(shù)據(jù)分析和深度學(xué)習(xí)的能力。