阿里巴巴首次公開深度學(xué)習(xí)框架——X-Deep Learning

今年，各企業(yè)在開源路上的勢(shì)頭可以說是“你追我趕”，誰也不甘落后。6 月，小米宣布開源自己在移動(dòng)端深度學(xué)習(xí)框架 MACE；9 月，騰訊 AI Lab 宣布開源一款自動(dòng)化深度學(xué)習(xí)模型壓縮與加速的框架——PocketFlow。雙十一剛過，阿里巴巴就宣布要把商業(yè)操作系統(tǒng)中一個(gè)重要的業(yè)務(wù)板塊——阿里媽媽的重要技術(shù)框架進(jìn)行開源，這也是阿里巴巴首次公開深度學(xué)習(xí)框架。

作為阿里巴巴旗下的大數(shù)據(jù)營(yíng)銷平臺(tái)，阿里媽媽基于自身廣告業(yè)務(wù)，自主研發(fā)了深度學(xué)習(xí)框架 X-Deep Learning（下文簡(jiǎn)稱 XDL），并已經(jīng)大規(guī)模部署應(yīng)用在核心生產(chǎn)場(chǎng)景。相關(guān)代碼鏈接將在 12 月中旬正式發(fā)布。

▌1.XDL 面向廣告、推薦、搜索研發(fā)，覆蓋核心場(chǎng)景

XDL 是首個(gè)面向高維稀疏數(shù)據(jù)場(chǎng)景的深度學(xué)習(xí)開源框架。數(shù)據(jù)的高維稀疏性既是阿里媽媽業(yè)務(wù)場(chǎng)景的重要特征，也是互聯(lián)網(wǎng)的眾多核心應(yīng)用場(chǎng)景（如廣告/推薦/搜索等）的特征，覆蓋了大多數(shù)互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)應(yīng)用模式。新框架 XDL 針對(duì)阿里媽媽業(yè)務(wù)數(shù)據(jù)高維稀疏的場(chǎng)景特點(diǎn)進(jìn)行了優(yōu)化。此外，微博、抖音、今日頭條等也屬于該范疇內(nèi)，XDL在這些場(chǎng)景中都具有通用性。因此，不管是以廣告、推薦、搜索為代表業(yè)務(wù)的企業(yè)級(jí)用戶，還是對(duì)此感興趣的個(gè)人用戶，都可以加入到開源計(jì)劃當(dāng)中。

另外，在阿里巴巴XDL開源之前，業(yè)界的深度學(xué)習(xí)開源框架基本是面向圖像、語音處理等場(chǎng)景數(shù)據(jù)而設(shè)計(jì)，這與整個(gè)人工智能領(lǐng)域的研究重點(diǎn)有關(guān)，圖像和語音是率先取得理論突破的場(chǎng)景，而 XDL 的開源可以說是首次在工業(yè)級(jí)互聯(lián)網(wǎng)場(chǎng)景中取得突破。

▌2.開放與易用，是阿里巴巴具備開源 XDL 的技術(shù)標(biāo)準(zhǔn)

XDL 采用了橋接的架構(gòu)設(shè)計(jì)理念，打造面向工業(yè)級(jí)應(yīng)用的分布式規(guī)模能力，單機(jī)能夠處理的計(jì)算則引用現(xiàn)有開源框架。這種橋接的架構(gòu)，使得 XDL 跟業(yè)界的開源社區(qū)是無縫對(duì)接的，例如用戶可以在 XDL 框架上應(yīng)用基于 Tensorflow 或者 Pytorch 編寫的深度學(xué)習(xí)算法。此外，對(duì)于已經(jīng)在使用其它開源框架的企業(yè)或者個(gè)人用戶，也可以在原有系統(tǒng)基礎(chǔ)上進(jìn)行擴(kuò)展。

除了核心的 XDL 訓(xùn)練框架外，阿里媽媽透露將全面開源面向高維稀疏數(shù)據(jù)場(chǎng)景的系統(tǒng)化解決方案，計(jì)劃分批次對(duì)外發(fā)布，包括面向在線實(shí)時(shí)服務(wù)的深度學(xué)習(xí)預(yù)估引擎、面向全庫實(shí)時(shí)檢索的深度學(xué)習(xí)匹配引擎；同時(shí)還內(nèi)置阿里媽媽自主研發(fā)的一系列算法，涉及 CTR 預(yù)估模型、CVR 預(yù)估模型、匹配召回模型、模型壓縮訓(xùn)練算法等等。

剩下的就是坐等代碼了！