機(jī)器學(xué)習(xí)工作流編排工具Netflix

在Netflix，我們的目標(biāo)是在你觀看之前預(yù)測(cè)你想觀看的。為做到這一點(diǎn)，我們每天運(yùn)行了大量的機(jī)器學(xué)習(xí)（ML）工作流。為了支持建立這些工作流并且有效利用資源，我們開發(fā)了Meson。
　　Meson是一個(gè)通用的工作流編排和調(diào)度框架，用于管理跨異構(gòu)系統(tǒng)執(zhí)行工作負(fù)載的ML管道。它管理著一些ML管道的生命周期，這些ML管道用來構(gòu)建、訓(xùn)練并驗(yàn)證驅(qū)動(dòng)視頻推薦的個(gè)性化算法。
　　Meson的主要目標(biāo)之一是提高算法實(shí)驗(yàn)的速度，可靠性和可重復(fù)性，同時(shí)允許工程師使用他們選擇的技術(shù)來處理每個(gè)步驟。
　　增強(qiáng)機(jī)器學(xué)習(xí)管道
　　在Netflix內(nèi)部，Spark、MLlib、Python、R以及Docker在當(dāng)前一代的機(jī)器學(xué)習(xí)管道中起到了重要作用。
　　我們來看看驅(qū)動(dòng)視頻推薦的典型機(jī)器學(xué)習(xí)管道，以及在Meson中它是如何表示和處理的。
　　
　?。c(diǎn)擊放大圖片）
　　工作流包括：
　　選擇一組用戶——使用Hive查詢來選擇用于分析的隊(duì)列
　　清洗/準(zhǔn)備數(shù)據(jù)——一個(gè)Python腳本來創(chuàng)建兩組用戶，用于并行路徑
　　在并行路徑中，一條使用Spark構(gòu)建并分析全局模型，使用HDFS作為臨時(shí)存儲(chǔ)。
　　另一條使用R來構(gòu)建具體地區(qū)（國(guó)家）模型。地區(qū)的數(shù)量根據(jù)用于分析所選擇的隊(duì)列動(dòng)態(tài)變化。圖中的構(gòu)建地區(qū)模型和驗(yàn)證地區(qū)模型步驟對(duì)于每個(gè)地區(qū)（國(guó)家）重復(fù)執(zhí)行，在運(yùn)行時(shí)擴(kuò)展，使用不同的參數(shù)集執(zhí)行，如下所示。
　　驗(yàn)證——當(dāng)兩條路徑收斂時(shí)，使用Scala代碼對(duì)模型的穩(wěn)定性進(jìn)行測(cè)試。在這個(gè)過程中，如果模型不穩(wěn)定，則回到上面的步驟，重復(fù)整個(gè)過程。
　　發(fā)布新模型——使用Docker容器發(fā)布這個(gè)新模型，其他生產(chǎn)系統(tǒng)來獲取這個(gè)模型。
　　
　?。c(diǎn)擊放大圖片）
　　上圖顯示了上面描述的工作流運(yùn)行過程。
　　用戶集選擇，數(shù)據(jù)清洗的完成由綠色步驟表示。
　　并行路徑正在處理：
　　Spark分支完成了模型的生成和驗(yàn)證。for-each分支分出了4個(gè)不同的地區(qū)模型，它們都在處理（黃色）。
　　用于模型選擇的Scala步驟是激活的（藍(lán)色）。這表明一個(gè)或多個(gè)輸入分支已經(jīng)完成，但它還不會(huì)安排執(zhí)行，因?yàn)檫€有些輸入分支（a）還沒有開始或（b）正在處理。
　　運(yùn)行時(shí)上下文和參數(shù)隨著工作流傳遞，用于業(yè)務(wù)決策。
　　揭開面紗
　　讓我們深入幕后場(chǎng)景來了解Meson是如何在不同系統(tǒng)之間統(tǒng)籌，以及生態(tài)系統(tǒng)中不同組件之間的相互影響。工作流有著不同的資源需求和總運(yùn)行時(shí)間期望。我們依靠Apache Mesos這樣的資源管理系統(tǒng)來滿足這些需求。Mesos提供了任務(wù)隔離，以及CPU、內(nèi)存、存儲(chǔ)和其他計(jì)算資源的優(yōu)秀抽象。Meson利用這些功能來實(shí)現(xiàn)任務(wù)的彈性和容錯(cuò)性。