兩篇大廠CTR預(yù)估最新工作

今天帶大家讀兩篇AAAI 2023關(guān)于CTR預(yù)估的兩篇工作。一篇是華為發(fā)表的Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction，提出了一種CTR預(yù)估中embedding量化壓縮的方法；另一篇是美團(tuán)發(fā)表的Decision-Making Context Interaction Network for Click-Through Rate Prediction，通過(guò)在CTR預(yù)估模型中引入顯示和隱式的上下文信息提升預(yù)估效果。

1華為：Embedding量化

CTR預(yù)估中占用參數(shù)量最大的就是embedding table，尤其user、item等特征的embedding表，由于實(shí)體數(shù)量很大，導(dǎo)致這些特征的embedding表非常大，占用了非常巨大的存儲(chǔ)開(kāi)銷(xiāo)。因此，對(duì)embedding table進(jìn)行壓縮是一個(gè)值得研究的領(lǐng)域。

目前業(yè)內(nèi)關(guān)于embedding table的壓縮主要有NAS-based embedding dimension search、Embedding pruning、Hashing三種方法。前兩者都需要額外的存儲(chǔ)和訓(xùn)練步驟來(lái)確定最優(yōu)的embedding維度和剪枝方法，而hashing方法由于沖突問(wèn)題會(huì)嚴(yán)重影響壓縮后的模型效果。

針對(duì)前面方法的不足，華為提出了一種基于量化的端到端CTR模型訓(xùn)練方法。量化方法是將模型高精度float參數(shù)映射到離散化的值上，模型結(jié)構(gòu)保持不變，極大節(jié)省了存儲(chǔ)空間。之前的文章中介紹過(guò)量化相關(guān)的工作。

本文提出的量化基本的訓(xùn)練框架如下圖中的b所示。以往的量化壓縮方法為圖a，需要保存全精度的參數(shù)，在前向傳播過(guò)程中對(duì)全精度參數(shù)量化，基于量化后的參數(shù)計(jì)算梯度，再更新到全精度參數(shù)上，節(jié)省了計(jì)算資源。而本文提出的b方法，直接在量化后的參數(shù)上進(jìn)行更新，而不用保存全精度的參數(shù)，適合本文提出的embedding存儲(chǔ)壓縮的場(chǎng)景。先把量化參數(shù)還原成全精度參數(shù)，再在全精度參數(shù)行梯度反傳更新，最后將更新后的參數(shù)還原回量化參數(shù)，完成一輪訓(xùn)練。

量化中存在兩個(gè)核心問(wèn)題，一個(gè)是如何確定離散化兩個(gè)值之間的step size，另一個(gè)是使用什么方法把float映射到離散化值。

針對(duì)第一個(gè)問(wèn)題，文中提出了一種Adaptive low-precision training的方法，自動(dòng)學(xué)習(xí)step size。具體的算法邏輯如下表，核心是在訓(xùn)練過(guò)程中有兩階段的優(yōu)化，第一階段更新模型的參數(shù)，第二階段優(yōu)化step size。

針對(duì)第二個(gè)問(wèn)題，業(yè)內(nèi)主要有DR和SR兩種方式。DR直接根據(jù)四舍五入，確定性的將float離散化，而SR則是以一定概率隨機(jī)的將float離散化到距離最近的兩個(gè)整數(shù)之間。雖然之前的一些工作在實(shí)驗(yàn)角度驗(yàn)證了SR效果更好，但是沒(méi)有給出具體的理論證明。本文作者填補(bǔ)了這部分的空白，從理論上證明了SR的離散化方法具有更快的收斂性和更好的準(zhǔn)確率，因此本文采用了SR的離散化方法。

在實(shí)驗(yàn)階段，文中對(duì)比了不同壓縮方法的運(yùn)行效率和效果，驗(yàn)證了本文提出的方法的優(yōu)越性：

2美團(tuán)：上下文建模

這篇文章提出在CTR中引入顯示和隱式的上下文信息來(lái)提升CTR預(yù)估模型效果。

先說(shuō)說(shuō)顯示上下文信息。以往的CTR預(yù)估模型重點(diǎn)在于用戶歷史行為序列建模，而忽略了用戶歷史行為中的上下文信息。比如下圖左側(cè)的例子，是某個(gè)用戶某次歷史搜索的行為，點(diǎn)擊了藍(lán)色框中的漢堡。以往的行為建模模型中，直接將這個(gè)漢堡加入到歷史行為中，判斷和當(dāng)前商品的匹配情況。而上下文指的是用戶歷史搜索中，除了藍(lán)色框以外紅色框的部分。這部分信息引入的好處是，能夠確定用戶歷史行為產(chǎn)生的原因。例如點(diǎn)擊紅色框的漢堡，是和藍(lán)色框其他漢堡在價(jià)格、款式等維度上進(jìn)行對(duì)比后，用戶做出的決策。

再說(shuō)隱式上下文信息，指的是上游的匹配、打分鏈路中，根據(jù)用戶個(gè)性化信息建模流入下游的候選商品。如果流入下游的候選商品漢堡較多，那么表明用戶可能更喜歡吃漢堡。將這部分信息引入進(jìn)來(lái)，有利于提升用戶喜好的建模。

基于以上出發(fā)點(diǎn)，本文提出了考慮用戶顯示隱式上下文信息的ctr預(yù)估模型。對(duì)于顯示上下文，使用CIU模塊進(jìn)行編碼，主要包括對(duì)上下文中不相關(guān)商品的過(guò)濾，以及利用上下文中相關(guān)商品信息增強(qiáng)用戶的興趣建模。對(duì)于隱式上下文信息，即前面模型送到ctr預(yù)估模型打分的候選item，也使用CIU模塊進(jìn)行有效信息的提取。最后，顯示信息和隱式信息經(jīng)過(guò)CIU的結(jié)果會(huì)經(jīng)過(guò)一層AIAU進(jìn)行融合，AIAU主要和MLP+self-attention的結(jié)構(gòu)，用于融合經(jīng)過(guò)顯示、隱式增強(qiáng)后的用戶興趣信息。

本文提出的模型上線后，經(jīng)過(guò)A/B test實(shí)驗(yàn)，取得了CTR+2.9%/CPM+2.1%/GMV+1.5%的比較明顯的效果收益。

審核編輯 ：李倩