華裔女博士提出：Facebook提出用于超參數(shù)調(diào)整的自我監(jiān)督學(xué)習(xí)框架

來源：Facebook

【導(dǎo)讀】Facebook的研究人員近日提出了一種用于超參數(shù)調(diào)整的自我監(jiān)督學(xué)習(xí)框架。這個(gè)新模型實(shí)現(xiàn)了準(zhǔn)確預(yù)測的結(jié)果，估計(jì)超參數(shù)的速度快了6到20倍。

近日，F(xiàn)acebook的研究人員提出了一種新的用于模型選擇(SSL-MS) 和超參數(shù)調(diào)整(SSL-HPT)的自監(jiān)督學(xué)習(xí)框架，該框架以較少的計(jì)算時(shí)間和資源提供準(zhǔn)確的預(yù)測。

與基于基線搜索的算法相比，SSL-HPT 算法估計(jì)超參數(shù)的速度快了6-20倍，同時(shí)在各種應(yīng)用中產(chǎn)生了比較準(zhǔn)確的預(yù)測結(jié)果。

SSL：估算超參數(shù)速度快6-20倍

在時(shí)間序列分析(用于發(fā)現(xiàn)趨勢或預(yù)測未來值)中，超參數(shù)的細(xì)微差別可能導(dǎo)致給定模型的非常不同的預(yù)測結(jié)果。

因此，選擇最優(yōu)的超參數(shù)值顯得尤為重要。

大多數(shù)現(xiàn)有的超參數(shù)調(diào)整方法，如網(wǎng)格搜索、隨機(jī)搜索和貝葉斯最優(yōu)搜索，都是基于一個(gè)關(guān)鍵組件: 搜索。

因此，它們計(jì)算代價(jià)非常昂貴，不能應(yīng)用于快速、可擴(kuò)展的時(shí)間序列超參數(shù)調(diào)整。

研究人員提出的框架 SSL-HPT 使用時(shí)間序列特征作為輸入（不犧牲精確度的情況下），在較短的時(shí)間內(nèi)產(chǎn)生最佳的超參數(shù)。

那么，它們是如何工作的呢？

研究人員開發(fā)的自監(jiān)督學(xué)習(xí)框架在預(yù)測時(shí)的兩個(gè)主要任務(wù): SSL-MS 和 SSL-HPT。

SSL-MS: SSL-MS 的自我監(jiān)督學(xué)習(xí)框架包括三個(gè)步驟，如下所示:

1 離線訓(xùn)練數(shù)據(jù)準(zhǔn)備: 獲得每個(gè)時(shí)間序列的時(shí)間序列特征和每個(gè)時(shí)間序列的最佳性能模型通過離線超參數(shù)調(diào)整。

2 離線訓(xùn)練: 利用步驟1中的數(shù)據(jù)訓(xùn)練分類器(自我監(jiān)督學(xué)習(xí)者) ，其中輸入特征(預(yù)測器)是時(shí)間序列特征，標(biāo)記是步驟1中性能最好的模型。

3 線模型預(yù)測: 在線服務(wù)中，對(duì)于新的時(shí)間序列數(shù)據(jù)，提取特征，然后使用預(yù)先訓(xùn)練的分類器進(jìn)行推理，例如隨機(jī)森林模型。

SSL-MS 的工作流程可以自然地?cái)U(kuò)展到 SSL-HPT。

如下圖所示，給定一個(gè)模型，探索每個(gè)時(shí)間序列在預(yù)定義參數(shù)空間內(nèi)的所有超參數(shù)設(shè)置。

對(duì)于輸入 x，研究者在這里使用的時(shí)間序列特征與 SSL-MS 相同。

自監(jiān)督學(xué)習(xí)器一經(jīng)訓(xùn)練，就可以直接對(duì)超參數(shù)進(jìn)行預(yù)測，并針對(duì)任何新的時(shí)間序列數(shù)據(jù)產(chǎn)生預(yù)測結(jié)果。

最終，研究人員通過在內(nèi)部和外部數(shù)據(jù)集上對(duì)新型算法進(jìn)行了實(shí)證評(píng)估，并得到了相似的結(jié)論。

SSL 框架可以極大地提高模型選擇和超參數(shù)調(diào)整的效率，以可比的預(yù)測精度減少6-20倍的運(yùn)行時(shí)間。

預(yù)測為什么重要？

預(yù)測是 Facebook 的核心數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)任務(wù)之一，因此提供快速、可靠、準(zhǔn)確的預(yù)測結(jié)果和大量的時(shí)間序列數(shù)據(jù)對(duì)自身的業(yè)務(wù)非常重要。

這個(gè)框架的應(yīng)用包括容量規(guī)劃和管理、需求預(yù)測、能源預(yù)測和異常檢測。

計(jì)算技術(shù)的迅速發(fā)展使企業(yè)能夠跟蹤大量的時(shí)間序列數(shù)據(jù)集。因此，定期預(yù)測數(shù)百萬個(gè)時(shí)間序列的需求正變得越來越普遍。

但是，要獲得大量時(shí)間序列的快速且準(zhǔn)確的預(yù)測仍然具有挑戰(zhàn)性。

Facebook新提出的 SSL 框架提供了一個(gè)高效的解決方案，以低計(jì)算成本和短運(yùn)行時(shí)間提供高質(zhì)量的預(yù)測結(jié)果。

這種方法獨(dú)立于特定的預(yù)測模型和算法，因此享有單個(gè)預(yù)測技術(shù)的優(yōu)勢，例如 Prophet 模型的可解釋性。

初步分析表明， SSL框架可以擴(kuò)展到模型推薦，并在Facebook內(nèi)部 AX 庫中增強(qiáng)貝葉斯優(yōu)化算法。

論文一作：普渡大學(xué)華人學(xué)者

這篇論文一作是普渡大學(xué)大學(xué)的研究員Peiyi Zhang。

Peiyi Zhang本科畢業(yè)于浙江大學(xué)，并在康奈爾大學(xué)獲得了碩士學(xué)位，普渡大學(xué)獲得了博士學(xué)位。

去年6月，她還在Facebook進(jìn)行了兩個(gè)月的實(shí)習(xí)。

Peiyi Zhang曾獲得洛杉磯市數(shù)據(jù)分析項(xiàng)目榮譽(yù)獎(jiǎng)、浙江大學(xué)學(xué)生科研訓(xùn)練計(jì)劃優(yōu)秀獎(jiǎng)、大學(xué)生數(shù)學(xué)建模競賽優(yōu)秀獎(jiǎng)。

Xiaodong Jiang是本片論文的第二作者，他目前在Facebook工作，擔(dān)任基礎(chǔ)設(shè)施研究數(shù)據(jù)科學(xué)家，開發(fā)通用時(shí)間序列分析工具。

他在佐治亞大學(xué)獲得了碩士和博士學(xué)位。

參考資料：

https://ai.facebook.com/blog/large-scale-forecasting-self-supervised-learning-framework-for-hyper-parameter-tuning/

編輯：jq