深度強化學(xué)習(xí)給推薦系統(tǒng)以及CTR預(yù)估工業(yè)界帶來的最新進(jìn)展

導(dǎo)讀：本文將介紹在深度學(xué)習(xí)的強力驅(qū)動下，給推薦系統(tǒng)工業(yè)界所帶來的最前沿的變化。本文主要根據(jù)幾大頂會2019的最新論文，總結(jié)一下深度強化學(xué)習(xí)給推薦系統(tǒng)以及CTR預(yù)估工業(yè)界帶來的最新進(jìn)展。

凡是Google出品，必屬精品。遙想當(dāng)年（其實也就近在2016），YoutubeDNN[1]以及WDL[2]的橫空出世引領(lǐng)了推薦系統(tǒng)以及CTR預(yù)估工業(yè)界潮流至今，掀起了召回層與排序?qū)?a href="http://ttokpm.com/v/tag/2562/" target="_blank">算法大規(guī)模優(yōu)雅而高效地升級深度學(xué)習(xí)模型的浪潮。發(fā)展至今其實已經(jīng)形成了工業(yè)界推薦系統(tǒng)與廣告CTR預(yù)估的龐大家族群，具體可以參見下文中的家族圖譜。

https://zhuanlan.zhihu.com/p/69050253

當(dāng)然，本文的重點不是回首往事。好漢不提當(dāng)年勇，而是立足當(dāng)下看看接下來推薦系統(tǒng)和CTR預(yù)估工業(yè)界的路在何方。起因就在于Google先后在WSDM 2019和IJCAI 2019發(fā)表了極具工業(yè)界風(fēng)格應(yīng)用強化學(xué)習(xí)的論文，而且聲稱已經(jīng)在Youtube推薦排序?qū)拥木€上實驗中相對線上已有的深度學(xué)習(xí)模型獲得了顯著的收益。因此，本文就總結(jié)一下幾大頂會2019上強化學(xué)習(xí)應(yīng)用于推薦系統(tǒng)和CTR預(yù)估工業(yè)界的最新進(jìn)展，也歡迎各位有經(jīng)驗的同行多多交流共同進(jìn)步。

眾所周知，強化學(xué)習(xí)雖然在圍棋、游戲等領(lǐng)域大放異彩，但是在推薦系統(tǒng)以及CTR預(yù)估上的應(yīng)用一直有很多難點尚未解決。一方面是因為強化學(xué)習(xí)與推薦系統(tǒng)結(jié)合的探索剛剛開始，目前的方案尚未像傳統(tǒng)機器學(xué)習(xí)升級深度學(xué)習(xí)那樣效果顯著，升級強化學(xué)習(xí)在效果上相對已有的深度學(xué)習(xí)模型暫時還無法做到有質(zhì)的飛躍；另外一方面，就是離線模型訓(xùn)練與線上實驗在線學(xué)習(xí)環(huán)境搭建較為復(fù)雜。這就造成了目前在工業(yè)界應(yīng)用強化學(xué)習(xí)模型性價比并不高。而且尷尬的是，很多論文在升級RL比較效果的時候使用的Baseline都是傳統(tǒng)機器學(xué)習(xí)算法而不是最新的深度學(xué)習(xí)模型，其實從某種程度上來說是很難讓人信服的。

所以，Google這兩篇強化學(xué)習(xí)應(yīng)用于YouTube推薦論文的出現(xiàn)給大家?guī)砹吮容^振奮人心的希望。首先，論文中宣稱效果對比使用的Baseline就是YouTube推薦線上最新的深度學(xué)習(xí)模型；其次，兩篇論文從不同的指標(biāo)維度都帶來了比較明顯的效果增長。而且其中一篇論文的作者M(jìn)inmin Chen大神在Industry Day上也提到線上實驗效果顯示這個是YouTube單個項目近兩年來最大的reward增長。這雖然不代表著強化學(xué)習(xí)與推薦系統(tǒng)的結(jié)合方案已經(jīng)很成熟了，至少給大家?guī)砹艘恍┰诠I(yè)界積極嘗試的動力。

Top-K Off-Policy Correction for a REINFORCE Recommender System，WSDM 2019

本文的主要亮點是提出了一種Top-K的Off-Policy修正方案將RL中Policy-Gradient類算法得以應(yīng)用在動作空間數(shù)以百萬計的Youtube在線推薦系統(tǒng)中。

眾所周知[1]，Youtube推薦系統(tǒng)架構(gòu)主要分為兩層：召回和排序。本文中的算法應(yīng)用在召回側(cè)。建模思路與RNN召回類似，給定用戶的行為歷史，預(yù)測用戶下一次的點擊item。受限于On-Policy方法對系統(tǒng)訓(xùn)練架構(gòu)要求復(fù)雜，所以本文中轉(zhuǎn)而采用Off-Policy的訓(xùn)練策略。也就是說并不是根據(jù)用戶的交互進(jìn)行實時的策略更新，而是根據(jù)收集到日志中用戶反饋進(jìn)行模型訓(xùn)練。

這種Off-Policy的訓(xùn)練方式會給Policy-Gradient類的模型訓(xùn)練帶來一定的問題，一方面策略梯度是由不同的policy計算出來的；另一方面同一個用戶的行為歷史也收集了其他召回策略的數(shù)據(jù)。所以文中提出了一種基于importance weighting的Off-Policy修正方案，針對策略梯度的計算進(jìn)行了一階的近似推導(dǎo)。

因為是基于用戶的交互歷史預(yù)測下一個用戶點擊的item，所以文中也采用RNN針對用戶State的轉(zhuǎn)換進(jìn)行建模。文中提到實驗了包括LSTM、GRU等RNN單元，發(fā)現(xiàn)Chaos Free的RNN單元因為穩(wěn)定高效而使用起來效果最好。

在上述的策略修正公式（3）中最難獲取到的是用戶的行為策略，理想情況下是收集日志的時候同時把用戶相應(yīng)的用戶策略也就是點擊概率給收集下來，但由于策略不同等客觀原因文中針對用戶的行為策略使用另外一組θ'參數(shù)進(jìn)行預(yù)估，而且防止它的梯度回傳影響主RNN網(wǎng)絡(luò)的訓(xùn)練。

另外，由于在推薦系統(tǒng)中，用戶可以同時看到k個展示給用戶的候選item，用戶可能同時與一次展示出來的多個item進(jìn)行交互。因此需要擴展策略根據(jù)用戶的行為歷史預(yù)測下一次用戶可能點擊的top-K個item。

假設(shè)同時展示K個不重復(fù)item的reward獎勵等于每個item的reward的之和，根據(jù)公式推導(dǎo)我們可以得到Top-K的Off-Policy修正的策略梯度如下，與上面Top 1的修正公式相比主要是多了一個包含K的系數(shù)。也就是說，隨著K的增長，策略梯度會比原來的公式更快地降到0。

從實驗結(jié)果的角度，文中進(jìn)行了一系列的實驗進(jìn)行效果比較和驗證，其中Top-K的Off-Policy修正方案帶來了線上0.85%的播放時長提升。而且前文也提到過，Minmin Chen大神在Industry Day上也提到線上實驗效果顯示這個是YouTube單個項目近兩年來最大的reward增長。

另外，在最新一期的Google AI Blog[3]上，宣布提出了一種基于強化學(xué)習(xí)Off-Policy的分類方法，可以預(yù)測出哪種機器學(xué)習(xí)模型會產(chǎn)生最好結(jié)果。感興趣的可以繼續(xù)延伸閱讀一下。

Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology，IJCAI 2019

這篇文章相比于第一篇文章時間要晚一點，提出的方法也不盡相同，不過類似的是都宣稱在Youtube線上推薦系統(tǒng)上取得了不錯的效果。主要貢獻(xiàn)是提出了一種名為SLATEQ的Q-Learning算法，優(yōu)化推薦系統(tǒng)里面同時展示給用戶多個item情況的長期收益LTV（Long-term Value）。

這里首先講一下這篇文章與第一篇文章的不同，首先，第一篇文章假設(shè)了在推薦系統(tǒng)中同時展示K個不重復(fù)item（本文中稱為Slate）的獎勵reward等于每個item的reward的之和，這個在本文中認(rèn)為實際上是不合理的，因此建模了Slate的LTV和單個item的LTV之間的關(guān)系；其次，本文顯式的建模與評估了整個系統(tǒng)LTV的收益。

從系統(tǒng)架構(gòu)的角度，本文擴展了Youtube現(xiàn)有的只注重即時收益的ranker，也就是針對CTR等指標(biāo)以及長期收益LTV進(jìn)行多目標(biāo)前向深度網(wǎng)絡(luò)學(xué)習(xí)。值得注意的是，為了保證線上實驗的公正性，這里除了多目標(biāo)外，其他與Youtube線上的特征以及網(wǎng)絡(luò)參數(shù)都完全一樣。

最后實驗部分，本文中評估的是User engagement，可以從下圖中看到效果提升是明顯且穩(wěn)定的。

其他業(yè)界進(jìn)展

除了Google的上述兩篇論文外，工業(yè)界其他公司也在積極嘗試強化學(xué)習(xí)在推薦系統(tǒng)中的實戰(zhàn)，下面主要簡要列出來一些到目前為止的進(jìn)展：

Generative Adversarial User Model for Reinforcement Learning Based Recommendation System，ICML 2019

在螞蟻金服被 ICML 2019 接收的這篇論文中，作者們提出用生成對抗用戶模型作為強化學(xué)習(xí)的模擬環(huán)境，先在此模擬環(huán)境中進(jìn)行線下訓(xùn)練，再根據(jù)線上用戶反饋進(jìn)行即時策略更新，以此大大減少線上訓(xùn)練樣本需求。此外，作者提出以集合（set）為單位而非單個物品（item）為單位進(jìn)行推薦，并利用 Cascading-DQN 的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)解決組合推薦策略搜索空間過大的問題[1]。

Virtual-Taobao: Virtualizing real-world online retail environment for reinforcement learning，AAAI 2019

阿里 at AAAI 2019，“虛擬淘寶”模擬器，利用RL與GAN規(guī)劃最佳商品搜索顯示策略，在真實環(huán)境中讓淘寶的收入提高2%。美中不足的是baseline仍然是傳統(tǒng)監(jiān)督學(xué)習(xí)而不是深度學(xué)習(xí)方案。

Large-scale Interactive Recommendation with Tree-structured Policy Gradient，AAAI 2019