云計算機(jī)器學(xué)習(xí)平臺的標(biāo)配功能及選購指南

云計算機(jī)器學(xué)習(xí)平臺提供的多種功能可以支持完整的機(jī)器學(xué)習(xí)生命周期。

為了創(chuàng)建有效的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型，組織需要獲取大量的數(shù)據(jù)，并對其執(zhí)行特征工程的方法，以及在合理的時間內(nèi)訓(xùn)練數(shù)據(jù)模型的方法。然后，組織需要一種方法來部署模型，監(jiān)視它們是否隨時間的推移而改變，以及根據(jù)需要重新訓(xùn)練它們。

如果組織已經(jīng)在計算資源和加速器（例如GPU）上進(jìn)行了投資，則可以在內(nèi)部部署基礎(chǔ)設(shè)施完成所有這些操作，但是可能會發(fā)現(xiàn)，如果資源足夠，它們在很多時間都處于閑置狀態(tài)。另一方面，有時在云平臺中運(yùn)行整個管道，根據(jù)需要使用大量計算資源和加速器，然后釋放它們，可能更具成本效益。

主要的云計算提供商（以及其他云計算提供商）已投入大量精力來構(gòu)建其機(jī)器學(xué)習(xí)平臺，以支持從計劃項目到維護(hù)生產(chǎn)模型的完整機(jī)器學(xué)習(xí)生命周期。組織如何確定哪些云平臺可以滿足其需求？每個端到端機(jī)器學(xué)習(xí)平臺都應(yīng)提供以下12種功能。

1.接近自己的數(shù)據(jù)

如果組織擁有建立精確模型所需的大量數(shù)據(jù)，則不希望將其傳輸?shù)绞澜绺鞯?。這里的問題并不是距離，而是時間：數(shù)據(jù)傳輸速度最終受到光速限制，即使在帶寬無限的完美網(wǎng)絡(luò)上也是如此。長距離意味著等待時間更長。

對于非常大的數(shù)據(jù)集，理想的情況是在已經(jīng)存在數(shù)據(jù)的地方建立模型，從而不需要傳輸大量數(shù)據(jù)。一些數(shù)據(jù)庫在一定程度上支持這一點(diǎn)。

下一個最佳情況是數(shù)據(jù)與模型構(gòu)建軟件位于同一高速網(wǎng)絡(luò)上，這通常意味著在同一數(shù)據(jù)中心內(nèi)。如果組織擁有TB或更大容量的數(shù)據(jù)，即使將數(shù)據(jù)從一個數(shù)據(jù)中心遷移到云計算可用性區(qū)域內(nèi)的另一個數(shù)據(jù)中心，也可能會造成嚴(yán)重的延遲。組織可以通過執(zhí)行增量更新來緩解這種情況。

最壞的情況是，組織必須在帶寬受限和高延遲的路徑上遠(yuǎn)程移動大量數(shù)據(jù)。而在這方面，澳大利亞為此部署的跨太平洋電纜的工程令人驚嘆。

2.支持ETL或ELT管道

ETL（導(dǎo)出、轉(zhuǎn)換和加載）和ELT（導(dǎo)出、加載和轉(zhuǎn)換）是數(shù)據(jù)庫領(lǐng)域中常見的兩種數(shù)據(jù)管道配置。機(jī)器學(xué)習(xí)和深度學(xué)習(xí)擴(kuò)大了對這些內(nèi)容的需求，尤其是轉(zhuǎn)換部分。當(dāng)轉(zhuǎn)換需要更改時，ELT為組織提供更大的靈活性，因為加載階段通常是大數(shù)據(jù)最耗時的階段。

通常情況下，沒有進(jìn)行處理的數(shù)據(jù)很嘈雜，需要過濾。此外，這些數(shù)據(jù)的范圍也有所不同：一個變量的最大值可能高達(dá)數(shù)百萬，而另一個變量的范圍可能是-0.1至-0.001。對于機(jī)器學(xué)習(xí)來說，必須將其變量轉(zhuǎn)換為標(biāo)準(zhǔn)化的范圍，以防止較大范圍的變量控制模型。具體的標(biāo)準(zhǔn)化范圍取決于模型使用的算法。

3.支持在線環(huán)境進(jìn)行模型構(gòu)建

傳統(tǒng)的觀點(diǎn)是，組織應(yīng)該將數(shù)據(jù)導(dǎo)入桌面設(shè)備以進(jìn)行模型構(gòu)建。建立良好的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型所需的大量數(shù)據(jù)改變了局面：組織可以將一小部分?jǐn)?shù)據(jù)樣本下載到桌面設(shè)備上，以進(jìn)行探索性數(shù)據(jù)分析和模型構(gòu)建，但是對于生產(chǎn)模型，則需要訪問完整的模型數(shù)據(jù)。

Jupyter Notebooks、JupyterLab和Apache Zeppelin等基于Web的開發(fā)環(huán)境非常適合模型構(gòu)建。如果組織的數(shù)據(jù)與筆記本電腦環(huán)境位于同一云平臺中，則可以對數(shù)據(jù)進(jìn)行分析，以很大程度地減少數(shù)據(jù)移動的時間。

4.支持?jǐn)U展訓(xùn)練

除了訓(xùn)練模型之外，筆記本電池的計算和內(nèi)存要求通常很小。如果筆記本可以生成在多個大型虛擬機(jī)或容器上運(yùn)行的訓(xùn)練作業(yè)，則將大有幫助。如果訓(xùn)練可以訪問加速器（例如GPU、TPU和FPGA），也將有很大幫助;這些模型可以將數(shù)天的訓(xùn)練過程變成數(shù)小時。

5.支持AutoML和自動特征工程

并不是每個組織都擅長于選擇機(jī)器學(xué)習(xí)模型、選擇特征（模型使用的變量），以及從原始觀察中設(shè)計新特征。即使組織擅長這些任務(wù)，它們也很耗時，而且可以在很大程度上實現(xiàn)自動化。

AutoML系統(tǒng)經(jīng)常嘗試使用許多模型來查看哪些模型可以產(chǎn)生優(yōu)秀目標(biāo)函數(shù)值，例如回歸問題的最小平方誤差。出色的AutoML系統(tǒng)還可以執(zhí)行功能工程，并有效地利用它們的資源，以盡可能多的特征集合來追求優(yōu)質(zhì)的模型。

6.支持優(yōu)質(zhì)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架

大多數(shù)數(shù)據(jù)科學(xué)家擁有用于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)的很喜歡的框架和編程語言。對于喜歡Python的人來說，Scikit學(xué)習(xí)通常是機(jī)器學(xué)習(xí)的最愛，而TensorFlow、PyTorch、Keras、MXNet通常是深度學(xué)習(xí)的首選。在Scala中，Spark MLlib往往是機(jī)器學(xué)習(xí)的首選。在R中，有許多原生機(jī)器學(xué)習(xí)包，以及與Python的良好接口。而在Java中，H2O.ai的評價很高，Java-ML和Deep Java Library也是如此。

云計算機(jī)器學(xué)習(xí)和深度學(xué)習(xí)平臺往往擁有自己的算法集合，并且它們通常以至少一種語言或作為具有特定入口點(diǎn)的容器來支持外部框架。在某些情況下，組織可以將自己的算法和統(tǒng)計方法與平臺的AutoML功能集成在一起，這非常方便。

一些云平臺還提供了自己的主要深度學(xué)習(xí)框架的調(diào)整版本。例如，AWS公司擁有TensorFlow的優(yōu)化版本，該公司聲稱可以為深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練提供近乎線性的可擴(kuò)展性。

7.提供預(yù)訓(xùn)練的模型并支持轉(zhuǎn)移學(xué)習(xí)

并非每個人都希望花費(fèi)時間和資源來訓(xùn)練自己的模型，而即使當(dāng)預(yù)訓(xùn)練的模型可用時，他們也不應(yīng)該如此。例如，ImageNet數(shù)據(jù)集非常龐大，并且要針對其訓(xùn)練比較先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)可能要花費(fèi)數(shù)周的時間，因此在可能的情況下使用預(yù)先訓(xùn)練的模型是有意義的。

另一方面，經(jīng)過預(yù)訓(xùn)練的模型可能無法始終標(biāo)識組織關(guān)心的對象。轉(zhuǎn)移學(xué)習(xí)可以幫助組織針對特定數(shù)據(jù)集自定義神經(jīng)網(wǎng)絡(luò)的最后幾層，而無需花費(fèi)更多時間和資金來訓(xùn)練整個網(wǎng)絡(luò)。

8.提供優(yōu)化的人工智能服務(wù)

主要的云平臺為許多應(yīng)用程序提供了功能強(qiáng)大且經(jīng)過優(yōu)化的人工智能服務(wù)，而不僅僅是圖像識別。其示例包括語言翻譯、語音轉(zhuǎn)換到文本、文本轉(zhuǎn)換到語音、預(yù)測和推薦。

這些服務(wù)已經(jīng)經(jīng)過訓(xùn)練和測試，其使用的數(shù)據(jù)量超出了企業(yè)通常可獲得的數(shù)據(jù)量。它們還已經(jīng)部署在具有足夠計算資源（包括加速器）的服務(wù)端點(diǎn)上，以確保在全球負(fù)載下具有良好的響應(yīng)時間。

9.管理實驗

為組織的數(shù)據(jù)集找到優(yōu)秀模型的唯一方法是嘗試采用所有方法，無論是人工還是使用AutoML。這就留下了另一個問題：管理實驗。

良好的云計算機(jī)器學(xué)習(xí)平臺將為組織提供一種方式，可以查看和比較每個實驗的目標(biāo)函數(shù)值（訓(xùn)練集和測試數(shù)據(jù)）以及模型和混淆矩陣的大小。而能夠繪制所有這些圖表具有一定的優(yōu)勢。

10.支持模型部署以進(jìn)行預(yù)測

一旦組織有了根據(jù)自己的條件選擇優(yōu)秀實驗的方法，就需要一種簡單的方法來部署模型。如果組織出于同一目的部署多個模型，則還需要一種在它們之間分配流量的方法來進(jìn)行a/b測試。

11.監(jiān)控預(yù)測效果

數(shù)據(jù)隨著世界的變化而變化。這意味著組織無法部署模型而忘記它。與其相反，組織需要監(jiān)視為預(yù)測而提交的數(shù)據(jù)。當(dāng)數(shù)據(jù)從原始訓(xùn)練數(shù)據(jù)集的基線開始發(fā)生明顯變化時，組織需要重新訓(xùn)練模型。

12.控制成本

最后，組織需要一些方法來控制模型產(chǎn)生的成本。部署用于生產(chǎn)推理的模型通常占到深度學(xué)習(xí)成本的90%，而訓(xùn)練僅占成本的10%。

控制預(yù)測成本的優(yōu)秀方法取決于組織的負(fù)載和模型的復(fù)雜性。如果負(fù)載很高，則可以使用加速器來避免添加更多虛擬機(jī)實例。如果負(fù)載可變，則隨著負(fù)載的增加或減少，組織可能能夠動態(tài)更改大小或?qū)嵗蛉萜鞯臄?shù)量。而且，如果組織的負(fù)載較少，則可以使用帶有部分加速器的非常小的實例來處理預(yù)測。

【編輯推薦】