扇貝是如何實(shí)現(xiàn)深度追蹤模型并運(yùn)用到英語學(xué)習(xí)者詞匯水平評(píng)估中去

背景

扇貝，作為一個(gè)擁有超過八千萬用戶的移動(dòng)英語學(xué)習(xí)平臺(tái)，一直在探索如何利用數(shù)據(jù)來提供更精準(zhǔn)的個(gè)性化教育。更快速、科學(xué)地評(píng)估用戶詞匯水平，不僅可以有效提高用戶的學(xué)習(xí)效率，也可以幫助我們?yōu)槊课挥脩糁贫ǜ鼈€(gè)性化的學(xué)習(xí)內(nèi)容。

我們通過應(yīng)用 TensorFlow，在深度知識(shí)追蹤系統(tǒng)上可以實(shí)時(shí)地預(yù)測(cè)用戶對(duì)詞表上每個(gè)詞回答正確的概率 (如圖 1 所示)。本文將介紹扇貝是如何實(shí)現(xiàn)深度追蹤模型并運(yùn)用到英語學(xué)習(xí)者詞匯水平評(píng)估中去。

圖 1：實(shí)時(shí)預(yù)測(cè)答詞正確率

模型介紹

基于先前大量線上詞匯量測(cè)試記錄，我們的總序列數(shù)量已經(jīng)累積到千萬級(jí)別，這為使用深度學(xué)習(xí)模型提供了堅(jiān)實(shí)的基礎(chǔ)。模型方面，我們選用了斯坦福大學(xué) Piech Chris 等人在 NIPS 2015 發(fā)表的 Deep Knowledge Tracing (DKT) 模型 [1]，該模型在 Khan Academy Data 上進(jìn)行了驗(yàn)證，有著比傳統(tǒng) BKT 模型更好的效果。由表 1 可見，相比 Khan Academy Data，扇貝詞匯量測(cè)試數(shù)據(jù)的題目數(shù)量和所涉及用戶量都要更大，序列長(zhǎng)度也更長(zhǎng)，這些不同也是我們?cè)谀Ｐ驼{(diào)優(yōu)過程中面臨的最大挑戰(zhàn)。

表 1：Khan Math 和 Shanbay Vocab 數(shù)據(jù)對(duì)比

Baseline 模型結(jié)構(gòu)為單層 LSTM ，如圖 2 所示，輸入 xt 是用戶當(dāng)前 action（所答單詞和正確與否）的 embedding，可以用 one-hot encodings 或者是 compressed representations。輸出 yt 代表模型預(yù)測(cè)用戶對(duì)詞表中每個(gè)詞回答正確的概率。

圖 2：DKT 模型結(jié)構(gòu)

模型改進(jìn)

按照原論文思路實(shí)現(xiàn)的 baseline ，在 Khan Academy Data 上能較好地復(fù)現(xiàn)論文結(jié)果。針對(duì)實(shí)際應(yīng)用場(chǎng)景，我們使用 TensorFlow 實(shí)現(xiàn)了相應(yīng)模型，在如下幾方面做出改進(jìn)，嘗試提升模型性能。

數(shù)據(jù)預(yù)處理

通過觀察發(fā)現(xiàn)，原始數(shù)據(jù)存在如下幾個(gè)問題：

少量異常用戶數(shù)據(jù)占比過高

部分用戶測(cè)試序列過短，提供的信息不足

存在少量極低頻詞

經(jīng)過數(shù)據(jù)清洗后，模型準(zhǔn)確率有 1.3% 左右的提升。

引入外部特征

DKT 原模型的輸入只有當(dāng)前題目和用戶回答正確與否，事實(shí)上用戶答題過程中相關(guān)的一些其他信息也是可以作為特征輸入到模型中的。下面列出了其中一些有代表性的特征：

Time - 用戶第一次遇到該單詞時(shí)回答所花費(fèi)的時(shí)間

Attempt count - 用戶第幾次遇到該單詞

First action - 用戶的第一個(gè)動(dòng)作是直接回答還是求助系統(tǒng)給出提示信息

Word level - 先驗(yàn)單詞等級(jí)

使用這些特征的方式有多種，可以通過自編碼器編碼后輸入，也可以作為特征向量與 input embeddings 拼接后輸入，還可以直接和 LSTM 輸出的 hidden state 拼接后進(jìn)行預(yù)測(cè)。這些特征的使用進(jìn)一步將模型準(zhǔn)確率提升了約 2.1%。我們還對(duì)不同特征能夠帶來的影響進(jìn)行了對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn) Time 和 Attempt count 是最重要的兩個(gè)特征維度，而其他特征帶來的影響則很有限。

圖 3：引入外部特征的 DKT 模型

長(zhǎng)序列依賴

傳統(tǒng) LSTM 模型使用了門控函數(shù)，雖然有效緩解了梯度消失問題，但面對(duì)超長(zhǎng)序列的時(shí)候仍然無法避免。此外，由于使用了 tanh 函數(shù)，在多層 LSTM 中，層與層之間的梯度消失問題依然存在。所以現(xiàn)階段多層 LSTM 大多是采用 2~3 層，最多不超過 4 層。為了解決數(shù)據(jù)中存在的超長(zhǎng)序列長(zhǎng)期依賴問題，我們選用了 Shuai Li 等人在 CVPR 2018 發(fā)表的 Independently Recurrent Neural Network (IndRNN) 模型 [2]。 IndRNN 將層內(nèi)神經(jīng)元解耦，讓它們相互獨(dú)立，同時(shí)使用 ReLU 激活函數(shù)，有效解決了層內(nèi)以及層間的梯度消失和爆炸問題，使得模型層數(shù)和能夠?qū)W習(xí)到的序列長(zhǎng)度大大增加。如圖 4 所示，對(duì)于 Adding Problem （評(píng)價(jià) RNN 模型的典型問題），當(dāng)序列長(zhǎng)度到達(dá) 1000 時(shí)， LSTM 已經(jīng)無法降低均方誤差，而 IndRNN 仍然可以快速地收斂到一個(gè)非常小的誤差。

圖 4：對(duì) Adding Problem，各種 RNN 對(duì)長(zhǎng)序列的收斂情況對(duì)比

IndRNN 的引入，有效地解決了數(shù)據(jù)中超長(zhǎng)序列長(zhǎng)期依賴問題，進(jìn)一步將模型準(zhǔn)確率提升了 1.2%。

超參數(shù)調(diào)優(yōu)

在手動(dòng)調(diào)參的模型已經(jīng)得到了不錯(cuò)表現(xiàn)的基礎(chǔ)上，我們希望通過自動(dòng)調(diào)參來進(jìn)一步優(yōu)化模型。可調(diào)整的一些參數(shù)有：

RNN 結(jié)構(gòu)類型 - LSTM，GRU，IndRNN

RNN 層數(shù)和連接方式

學(xué)習(xí)率和 Decay 步數(shù)

Input 和 RNN 維度

Dropout 大小

在自動(dòng)調(diào)參算法中，Grid Search（網(wǎng)格搜索）、Random Search（隨機(jī)搜索）和 Bayesian Optimization（貝葉斯優(yōu)化）[3] 較為主流。網(wǎng)格搜索的問題在于容易遭遇維度災(zāi)難，而隨機(jī)搜索則不能利用先驗(yàn)知識(shí)來更好地選擇下一組超參數(shù)，只有貝葉斯優(yōu)化是 “很可能” 比建模工程師調(diào)參能力更好的算法。因?yàn)樗芾孟闰?yàn)知識(shí)高效地調(diào)節(jié)超參數(shù)。貝葉斯優(yōu)化方法在目標(biāo)函數(shù)未知且計(jì)算復(fù)雜度高的情況下很強(qiáng)大，該算法的基本思想是基于采樣數(shù)據(jù)使用貝葉斯定理估計(jì)目標(biāo)函數(shù)的后驗(yàn)分布，然后再根據(jù)分布選擇下一個(gè)采樣的超參數(shù)組合。

圖 5：一維黑盒函數(shù)的貝葉斯優(yōu)化過程

圖 5 中紅線代表真實(shí)的黑盒函數(shù)分布，綠色區(qū)域代表根據(jù)已采樣點(diǎn)計(jì)算出的各位置處的置信區(qū)間。此刻要做的事情就是選擇下一個(gè)采樣點(diǎn)，選擇均值大稱為 exploitation，選擇方差大稱為 exploration。均值大的點(diǎn)會(huì)更有把握獲得更優(yōu)的解，而方差更大的點(diǎn)會(huì)更有機(jī)會(huì)得到全局最優(yōu)。所以如何決定 exploitation 和 exploration 比例，是需要根據(jù)使用場(chǎng)景決定的。發(fā)揮這個(gè)功能的是一個(gè)叫做 acquisition function 的函數(shù)，它被用來權(quán)衡 exploitation 和 exploration 。常用的 acquisition function 有 Upper Condence Bound, Expected Improvement, Entropy Search 等。有了 acquisition function 后，就能以它取得最大值處的超參數(shù)，作為貝葉斯優(yōu)化算法推薦的下一個(gè)超參數(shù)值。這個(gè)結(jié)果是根據(jù)超參數(shù)間的聯(lián)合概率分布求出來，并且均衡了 exploritation 和 exploration 后得到的結(jié)果。

使用了貝葉斯優(yōu)化調(diào)參后，模型的準(zhǔn)確率進(jìn)一步提升了 1.7%。

模型部署

我們使用 TensorFlow Serving 作為模型部署上線的方案。在上線前我們有利用一些模型壓縮技術(shù)來減少模型大小，并根據(jù) TensorFlow Serving Batching Guide [4] 來找到最優(yōu)的 batching config 參數(shù)。

模型壓縮

模型壓縮有很多種方式，參數(shù)共享和剪枝、參數(shù)量化、低秩分解等。從簡(jiǎn)單易行的角度考慮，我們借鑒了 LSTMP [5] 中 projection layer 的思想，對(duì)最終輸出層的 embedding matrix 進(jìn)行了分解，增加了一個(gè) projection layer。這么做的原因在于模型最終輸出詞表維度很大，因此模型大部分參數(shù)都集中在輸出層。分解后模型大小減少到原來的一半，而模型準(zhǔn)確率卻沒有損失。

此外，DKT 模型的 hidden state 對(duì)于每個(gè)用戶而言是不同的，所以基于長(zhǎng)期學(xué)習(xí)需求，我們需要為每位用戶保存這個(gè)向量來作為 user embedding。但如果這個(gè)向量維度較大的話，面對(duì)大量潛在用戶，存儲(chǔ)壓力是非常大的，所以我們嘗試著去降低這個(gè)向量維度。起初的方案是使用 LSTMP，但實(shí)驗(yàn)發(fā)現(xiàn)，直接降低這個(gè)維度對(duì)模型準(zhǔn)確率損害是很低的。將維度降低到 baseline 模型的五分之一，對(duì)準(zhǔn)確率幾乎沒有負(fù)面影響，這個(gè)結(jié)果也超出了我們的預(yù)期。

TensorFlow Serving Batching 調(diào)優(yōu)

根據(jù)官方 performance tuning guide，對(duì)于線上預(yù)測(cè)系統(tǒng)，我們將 num_batch_threads 設(shè)為 CPU 的核心數(shù)量，max_batch_size 設(shè)為一個(gè)很大的值，同時(shí) batch_timeout_micros 設(shè)為 0 . 隨后在 1~10millisecond 范圍內(nèi)調(diào)整 batch_timeout_micros，找到最優(yōu)配置。經(jīng)過測(cè)試發(fā)現(xiàn)，在同樣的計(jì)算資源下，使用調(diào)優(yōu)過后的 Batching config，并發(fā)量是不使用時(shí)候的 2~2.5 倍。

總結(jié)和展望

本文以詞匯水平評(píng)估場(chǎng)景為例，介紹了 TensorFlow 在 Computer-Aided Language Learning（計(jì)算機(jī)輔助語言學(xué)習(xí)）中的應(yīng)用。通過對(duì)一系列論文結(jié)果的復(fù)現(xiàn)、改進(jìn)以及調(diào)優(yōu)，成功將 DKT 模型上線，為數(shù)千萬用戶提供了更科學(xué)的詞匯測(cè)試方案。

后續(xù)我們會(huì)繼續(xù)探究如何將 DKT 模型更深入地應(yīng)用到扇貝單詞的單詞學(xué)習(xí)場(chǎng)景中去。同時(shí)還會(huì)將單詞題拓展到更泛性的練習(xí)題上去，在更廣的領(lǐng)域，更多的視角上進(jìn)行知識(shí)追蹤，從而更高效地幫助用戶進(jìn)行英語學(xué)習(xí)。用 AI 給教育賦能，是扇貝不變的追求。