深入探討Uber機(jī)器學(xué)習(xí)平臺當(dāng)前的發(fā)展趨勢和目標(biāo)

2017年9月，Uber 在技術(shù)社區(qū)發(fā)表了一篇文章向大家介紹了 Uber 的機(jī)器學(xué)習(xí)平臺 —— Michelangelo。隨著平臺的日漸成熟，Uber 的業(yè)務(wù)數(shù)量與能力也隨之增長和提升，機(jī)器學(xué)習(xí)在整個公司的應(yīng)用范圍越來越廣。在本篇文章中，我們將為大家總結(jié) Michelangelo 在過去一年的時間里取得的成果，回顧Michelangelo的發(fā)展歷程，并深入探討 Uber 機(jī)器學(xué)習(xí)平臺當(dāng)前的發(fā)展方向和未來目標(biāo)。

三年時間，從零到一百

2015年，機(jī)器學(xué)習(xí)在 Uber 的應(yīng)用并不廣。但隨著公司的規(guī)模擴(kuò)大，業(yè)務(wù)需要也越來越復(fù)雜，需要用到機(jī)器學(xué)習(xí)的地方越來越多。如何在公司范圍內(nèi)部署機(jī)器學(xué)習(xí)迅速成為 Uber 的戰(zhàn)略重點(diǎn)。

Michelangelo 最初的重點(diǎn)是實(shí)現(xiàn)大規(guī)模批量訓(xùn)練，并進(jìn)行批量預(yù)測。隨著時間的推移，Uber加入了集中式特征存儲、模型性能報告、低延遲實(shí)時預(yù)測服務(wù)、深度學(xué)習(xí)工作流以及許多其他的組件與集成環(huán)境。在短短三年內(nèi)，Uber 已經(jīng)擁有技術(shù)先進(jìn)的機(jī)器學(xué)習(xí)工具和基礎(chǔ)平臺，以及上百個機(jī)器學(xué)習(xí)案例。

Uber 的機(jī)器學(xué)習(xí)用例

Uber 將機(jī)器學(xué)習(xí)用在了各種各樣的業(yè)務(wù)中。在這一部分，我們將為大家介紹在過去三年的時間里幾個 Michelangelo的典型用例，它們體現(xiàn)了機(jī)器學(xué)習(xí)在 Uber業(yè)務(wù)中的多樣性和影響力：

▌Uber Eats

Uber Eats 使用基于 Michelangelo 的多個模型來做預(yù)測，以便食客每次打開 APP 都可以有更好的體驗(yàn)。基于機(jī)器學(xué)習(xí)的排名模型會根據(jù)歷史數(shù)據(jù)和用戶當(dāng)前的進(jìn)程信息，來推薦合適的餐館和菜品。基于 Michelangelo，優(yōu)食也會根據(jù)預(yù)測到達(dá)時間、歷史數(shù)據(jù)以及餐館的實(shí)時信息，來估算餐食的送達(dá)時間。

▌市場預(yù)測

Uber的市場團(tuán)隊(duì)利用了各種時空預(yù)測模型，這些模型能夠預(yù)測未來各個地點(diǎn)和時間乘坐者的需求，以及司機(jī)是否有空。根據(jù)所預(yù)測的供需不平衡情況，Uber 系統(tǒng)可以提醒司機(jī)提前去往最有機(jī)會接客的地點(diǎn)。

▌客戶支持

在 Uber平臺，每天約有 1500 萬次出行記錄。人們經(jīng)常把錢包或手機(jī)遺忘在車內(nèi)，或通過Uber的幫助系統(tǒng)提交各種問題。這些問題單將被提交至客服代表?；?Michelangelo 的機(jī)器學(xué)習(xí)模型被應(yīng)用于此，使問題的解決過程更加自動化，并大大提升了速度。

▌乘車檢查

自 2010 年的第一條 Uber 乘坐記錄以來，每次出行時地圖都會使用 GPS 數(shù)據(jù)。所以我們知道自己何時處于何地，以及是誰在駕駛。但Uber 希望可以做得更多。利用 GPS 的力量和司機(jī)的智能手機(jī)中的其他傳感器，Uber的技術(shù)可以檢測到可能發(fā)生的車禍。例如，如果在一次旅程中出現(xiàn)長時間的意外停車，乘客和司機(jī)都會收到一條提醒，可提供交通事件援助。

▌預(yù)計(jì)到達(dá)時間（ETAs）

對公司來說，最重要的指標(biāo)之一就是各種預(yù)估時間。精確的預(yù)估時間對好的用戶體驗(yàn)至關(guān)重要，這些指標(biāo)被輸入無數(shù)其他的內(nèi)部系統(tǒng)中，來協(xié)助判定價格和路線。

Uber 的地圖服務(wù)團(tuán)隊(duì)開發(fā)了一個復(fù)雜的分段路線系統(tǒng)，用來計(jì)算基本的預(yù)估時間值。這些基本的預(yù)估時間具有相同類型的錯誤。地圖服務(wù)團(tuán)隊(duì)發(fā)現(xiàn)他們可以使用機(jī)器學(xué)習(xí)模型來預(yù)測這些錯誤，并用預(yù)測的錯誤來進(jìn)行修正。由于這個模型正逐個應(yīng)用在各個城市，Uber 團(tuán)隊(duì)發(fā)現(xiàn)預(yù)估到達(dá)時間的準(zhǔn)確性大幅提升，在某些情況下，平均預(yù)估到達(dá)時間的誤差減小了 50% 以上。

▌一鍵聊天

一鍵聊天的功能基于自然語言處理模型，模型可以預(yù)測并展示最有可能的回復(fù)，使乘客與司機(jī)之間的交流更加高效。司機(jī)只需按一下按鈕，即可回復(fù)乘客的消息，從而避免分心。

▌自動駕駛車輛

Uber 的自動駕駛汽車系統(tǒng)使用深度學(xué)習(xí)模型來實(shí)現(xiàn)各種功能，包括物體檢測和路線規(guī)劃。建模人員用 Michelangelo 的 Horovod 在大量 GPU 機(jī)器上進(jìn)行高效的分布式訓(xùn)練。

Uber如何一步步拓展機(jī)器學(xué)習(xí)的應(yīng)用場景

作為一支平臺團(tuán)隊(duì)，Uber 團(tuán)隊(duì)的使命是充分利用機(jī)器學(xué)習(xí)的價值，并加速其在公司各個方面的應(yīng)用。對于數(shù)據(jù)科學(xué)家，Uber的工具簡化了機(jī)器學(xué)習(xí)系統(tǒng)構(gòu)建與部署過程中的生產(chǎn)和運(yùn)行。對于工程師，Uber 的機(jī)器學(xué)習(xí)工具簡化了這些系統(tǒng)背后的數(shù)據(jù)科學(xué)（如特征工程、建模、評估等），使他們無需數(shù)據(jù)科學(xué)家的幫助，就可以輕松訓(xùn)練出質(zhì)量足夠高的模型。最后，對于在建立機(jī)器學(xué)習(xí)系統(tǒng)方面經(jīng)驗(yàn)豐富的工程團(tuán)隊(duì)，Uber還提供 Michelangelo 的機(jī)器學(xué)習(xí)基礎(chǔ)組件，以實(shí)現(xiàn)自定義的配置和工作流。

能夠在 Uber 這樣的公司成功擴(kuò)展機(jī)器學(xué)習(xí)，需要的不僅僅是技術(shù)實(shí)力，還有組織與設(shè)計(jì)流程方面的因素。接下來我們就為大家分析一下Uber 成功的三個關(guān)鍵因素：組織、流程和技術(shù)。

Michelangelo 機(jī)器學(xué)習(xí)平臺的核心戰(zhàn)略支柱

▌組織

對于構(gòu)建高質(zhì)量的解決方案并將其成功部署來說，讓對的人解決對的問題顯得尤為重要。例如，如果一個新項(xiàng)目需要計(jì)算機(jī)視覺方面的知識，那么什么樣的組織結(jié)構(gòu)有利于 Uber 高效地分配專家資源，從而保證合適的優(yōu)先級呢？

經(jīng)過幾次迭代，Uber 目前具備以下幾種主要角色和職責(zé)：

Uber 機(jī)器學(xué)習(xí)系統(tǒng)中的組織關(guān)聯(lián)

1.產(chǎn)品團(tuán)隊(duì)

團(tuán)隊(duì)發(fā)現(xiàn)，如果產(chǎn)品工程團(tuán)隊(duì)具有自己在生產(chǎn)中構(gòu)建和部署的模型，效果是最好的。例如，Uber的地圖服務(wù)團(tuán)隊(duì)就擁有預(yù)測 Uber 預(yù)計(jì)到達(dá)時間（ETA）的模型。產(chǎn)品團(tuán)隊(duì)經(jīng)常配備使用 Uber 機(jī)器學(xué)習(xí)平臺來構(gòu)建與部署模型的全套技能。當(dāng)他們需要額外的技術(shù)時，可以從研究或?qū)＜覉F(tuán)那隊(duì)得到幫助。

2.專家團(tuán)隊(duì)

當(dāng)產(chǎn)品工程團(tuán)隊(duì)遇到超出能力范圍的機(jī)器學(xué)習(xí)問題時，他們可以向內(nèi)部專家團(tuán)隊(duì)求助。Uber 有各個領(lǐng)域的專家，如自然語言處理、計(jì)算機(jī)視覺、推薦系統(tǒng)、預(yù)測，來與產(chǎn)品團(tuán)隊(duì)協(xié)同構(gòu)建量身定制的解決方案。例如在COTA 項(xiàng)目中專家團(tuán)隊(duì)攜手產(chǎn)品團(tuán)隊(duì)，為 Uber業(yè)務(wù)和用戶創(chuàng)造了巨大的影響力。

3.研究團(tuán)隊(duì)

專家和產(chǎn)品工程團(tuán)隊(duì)經(jīng)常與 Uber 的 AI 研究小組（AI Labs）合作，協(xié)同解決問題，并為未來的研究指明方向。一般來說，研究團(tuán)隊(duì)不用寫用于生產(chǎn)的代碼，但他們在實(shí)際問題上與其他團(tuán)隊(duì)的合作非常緊密。當(dāng)研究員們開發(fā)了新的技術(shù)和工具時，平臺工程團(tuán)隊(duì)就會將其集成到公司的平臺上，以便新技術(shù)可以為全公司所使用。

4.機(jī)器學(xué)習(xí)平臺團(tuán)隊(duì)

Michelangelo 平臺團(tuán)隊(duì)創(chuàng)建并執(zhí)行了通用的機(jī)器學(xué)習(xí)工作流和工具箱，產(chǎn)品工程團(tuán)隊(duì)可以直接用來構(gòu)建、部署以及運(yùn)用機(jī)器學(xué)習(xí)解決方案。

Uber 的系統(tǒng)越來越高端，需要解決的問題也越來越復(fù)雜，隨著日漸增長的靈活性、可擴(kuò)展性，以及特定領(lǐng)域的機(jī)器學(xué)習(xí)開發(fā)經(jīng)驗(yàn)，需求也增長了起來。Uber 也正在開發(fā)一些其他的更面向特定領(lǐng)域的平臺，來實(shí)現(xiàn)一些不適用于 Michelangelo 工作流的特定用例。

▌流程

Uber 的機(jī)器學(xué)習(xí)服務(wù)日漸成熟，許多流程對團(tuán)隊(duì)的生產(chǎn)力和效率都起到了作用。分享最佳的機(jī)器學(xué)習(xí)實(shí)踐經(jīng)驗(yàn)和建立更加結(jié)構(gòu)化的流程，對指明團(tuán)隊(duì)方向和避免重復(fù)錯誤都是至關(guān)重要的。

▌技術(shù)

任何機(jī)器學(xué)習(xí)系統(tǒng)在技術(shù)方面都存在無數(shù)細(xì)節(jié)。在 Uber的系統(tǒng)中有以下幾個尤為重要的高級領(lǐng)域：

端到端的工作流：機(jī)器學(xué)習(xí)不僅僅是訓(xùn)練模型，你需要支持整個機(jī)器學(xué)習(xí)工作流：管理數(shù)據(jù)、評估模型、部署模型、作出預(yù)測、以及監(jiān)控預(yù)測。

把機(jī)器學(xué)習(xí)當(dāng)作軟件工程：團(tuán)隊(duì)把機(jī)器學(xué)習(xí)的開發(fā)與軟件開發(fā)做類比，然后將軟件開發(fā)的模式和方法用到機(jī)器學(xué)習(xí)中。

模型開發(fā)速度：機(jī)器學(xué)習(xí)模型的開發(fā)是一個迭代的過程，具有創(chuàng)新性且高質(zhì)量的模型來自大量的重復(fù)試驗(yàn)。因此，模型的開發(fā)與迭代速度至關(guān)重要。

模塊化與層次化的架構(gòu)：在處理大多數(shù)普通的機(jī)器學(xué)習(xí)用例時，提供端到端的工作流非常重要，但在處理不太常見且更專業(yè)的用例時，有可以進(jìn)行自定義組裝的原始組件就變得尤為關(guān)鍵。

1.端到端的工作流程

早期 Uber 就認(rèn)識到，要在公司內(nèi)成功開展機(jī)器學(xué)習(xí)需要的不僅僅是訓(xùn)練好模型，更需要對整個工作流提供穩(wěn)定且可擴(kuò)展的支持。另外團(tuán)隊(duì)還發(fā)現(xiàn)，同樣的工作流可以應(yīng)用到多個場景中，包括傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，有監(jiān)督、無監(jiān)督以及半監(jiān)督學(xué)習(xí)，批量、在線和移動部署，時間序列預(yù)測。讓一個工具做多種工作并不是重點(diǎn)，但擁有一套可以解決工作流中所有步驟的集成工具是非常重要的。

2.把機(jī)器學(xué)習(xí)看作軟件工程

Michelangelo 團(tuán)隊(duì)的一個重要原則是，把機(jī)器學(xué)習(xí)看作軟件工程。實(shí)際的開發(fā)和運(yùn)行機(jī)器學(xué)習(xí)應(yīng)該和軟件工程一樣，是一個迭代、嚴(yán)格、經(jīng)過測試的、且有方法支持的過程。例如，一旦團(tuán)隊(duì)認(rèn)識到一個模型就像編譯的軟件庫，便會在一個嚴(yán)格且可控制版本的系統(tǒng)中，跟蹤模型的訓(xùn)練配置，就像控制庫源代碼的版本一樣。跟蹤配置這一操作非常重要，因?yàn)橹罂梢詫⑵渲貜?fù)利用，創(chuàng)建新的模型。

3.模型開發(fā)速度

創(chuàng)建可靠的機(jī)器學(xué)習(xí)系統(tǒng)是一門學(xué)問，需要進(jìn)行多次迭代才能達(dá)到好的效果。迭代速度影響著機(jī)器學(xué)習(xí)在整個組織的擴(kuò)展，以及一個團(tuán)隊(duì)面對問題的解決效率。Michelangelo 團(tuán)隊(duì)的首要任務(wù)是讓數(shù)據(jù)科學(xué)團(tuán)隊(duì)提高速度。團(tuán)隊(duì)的速度越快，試驗(yàn)的次數(shù)越多，也就能測試更多的猜想，從而得到更好的結(jié)果。

下圖展示了Uber 所考慮的標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)開發(fā)流程的思路，以及不同的反饋循環(huán)。團(tuán)隊(duì)始終在考慮這一流程，并收縮這些循環(huán)，使數(shù)據(jù)科學(xué)中的迭代變得更加容易快捷。

機(jī)器學(xué)習(xí)項(xiàng)目的工作流程

4.模塊化且層次化的產(chǎn)品

團(tuán)隊(duì)在開發(fā) Michelangelo 時遇到的問題之一是：在為常見的機(jī)器學(xué)習(xí)工作流提供端到端支持的同時，還要使那些不常見的工作流保持靈活性。

最初，這個平臺和基礎(chǔ)組件組成了一個單獨(dú)的系統(tǒng)。當(dāng)系統(tǒng)變得更加復(fù)雜時，需要解決的問題也變得更加多樣且復(fù)雜。一些團(tuán)隊(duì)希望將 Michelangelo 的部分組件與他們自己的組件相結(jié)合，構(gòu)成新的工作流。其他團(tuán)隊(duì)需要專門的開發(fā)工具來處理他們的用例，但從頭開始構(gòu)建這些工具很顯然是不合理的。因此，團(tuán)隊(duì)對 Michelangelo 的架構(gòu)進(jìn)行了一些重大修改，盡可能地利用現(xiàn)有系統(tǒng)。

現(xiàn)在，團(tuán)隊(duì)正在將 Michelangelo 的架構(gòu)分解成明確的基礎(chǔ)架構(gòu)層，讓團(tuán)隊(duì)可以利用它們來構(gòu)建更復(fù)雜的平臺，例如自然語言處理或視覺應(yīng)用。一旦完成這些工作，就將擁有兩個用戶群：使用 Michelangelo 平臺構(gòu)建和部署模型的模型構(gòu)建者，和使用 Michelangelo 基礎(chǔ)組件構(gòu)建定制解決方案或復(fù)雜平臺的機(jī)器學(xué)習(xí)系統(tǒng)構(gòu)建者。

主要經(jīng)驗(yàn)教訓(xùn)

在過去的三年里，通過構(gòu)建 Michelangelo 并將機(jī)器學(xué)習(xí)在整個 Uber 進(jìn)行拓展，整個團(tuán)隊(duì)從成功與失敗中獲得了許多經(jīng)驗(yàn)教訓(xùn)。在一些案例中，有時候第一次就把事情做對了，但更多的時候團(tuán)隊(duì)需要經(jīng)過反復(fù)多次的嘗試，才能找到最適合的方法?？梢院推髽I(yè)、技術(shù)團(tuán)隊(duì)負(fù)責(zé)人，每一個開發(fā)人員分享的經(jīng)驗(yàn)有以下幾點(diǎn)：

讓開發(fā)人員使用他們偏好的工具。

數(shù)據(jù)是機(jī)器學(xué)習(xí)中最難的部分，同時也是最重要的部分。

要使開源和商業(yè)組件實(shí)現(xiàn)大規(guī)模運(yùn)行，需要付出很多努力。

考慮長期的愿景，根據(jù)用戶的反饋進(jìn)行多次開發(fā)。

實(shí)時的機(jī)器學(xué)習(xí)服務(wù)很難做到完美。

旅程才剛剛開始，仍有許多工作在等著Uber。這也是一個不斷發(fā)展的領(lǐng)域，會有更多的東西需要大家學(xué)習(xí)。