針對(duì)線性回歸模型和深度學(xué)習(xí)模型，介紹了確定訓(xùn)練數(shù)據(jù)集規(guī)模的方法

【導(dǎo)讀】對(duì)于機(jī)器學(xué)習(xí)而言，獲取數(shù)據(jù)的成本有時(shí)會(huì)非常昂貴，因此為模型選擇一個(gè)合理的訓(xùn)練數(shù)據(jù)規(guī)模，對(duì)于機(jī)器學(xué)習(xí)是至關(guān)重要的。在本文中，作者針對(duì)線性回歸模型和深度學(xué)習(xí)模型，分別介紹了確定訓(xùn)練數(shù)據(jù)集規(guī)模的方法。

數(shù)據(jù)是否會(huì)成為新時(shí)代的“原油”是人們近來(lái)常常爭(zhēng)論的一個(gè)問(wèn)題。

無(wú)論爭(zhēng)論結(jié)果如何，可以確定的是，在機(jī)器學(xué)前期，數(shù)據(jù)獲取成本可能十分高昂（人力工時(shí)、授權(quán)費(fèi)、設(shè)備運(yùn)行成本等）。因此，對(duì)于機(jī)器學(xué)習(xí)的一個(gè)非常關(guān)鍵的問(wèn)題是，確定能使模型達(dá)到某個(gè)特定目標(biāo)（如分類器精度）所需要的訓(xùn)練數(shù)據(jù)規(guī)模。

在本文中，我們將對(duì)經(jīng)驗(yàn)性結(jié)果和研究文獻(xiàn)中關(guān)于訓(xùn)練數(shù)據(jù)規(guī)模的討論進(jìn)行簡(jiǎn)明扼要的綜述，涉及的機(jī)器學(xué)習(xí)模型包括回歸分析等基本模型，以及復(fù)雜模型如深度學(xué)習(xí)。訓(xùn)練數(shù)據(jù)規(guī)模在文獻(xiàn)中也稱樣本復(fù)雜度，本文將對(duì)如下內(nèi)容進(jìn)行介紹：

針對(duì)線性回歸和計(jì)算機(jī)視覺(jué)任務(wù)，給出基于經(jīng)驗(yàn)確定訓(xùn)練數(shù)據(jù)規(guī)模的限制；

討論如何確定樣本大小，以獲得更好的假設(shè)檢驗(yàn)結(jié)果。雖然這是一個(gè)統(tǒng)計(jì)問(wèn)題，但是該問(wèn)題和確定機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)集規(guī)模的問(wèn)題很相似，因此在這里一并討論；

對(duì)影響訓(xùn)練數(shù)據(jù)集規(guī)模的因素，給出基于統(tǒng)計(jì)理論學(xué)習(xí)的結(jié)果；

探討訓(xùn)練集增大對(duì)模型表現(xiàn)提升的影響，并著重分析深度學(xué)習(xí)中的情形；

給出一種在分類任務(wù)中確定訓(xùn)練數(shù)據(jù)集大小的方法；

探討增大訓(xùn)練集是否是應(yīng)對(duì)不平衡數(shù)據(jù)集的最好方式。

基于經(jīng)驗(yàn)確定訓(xùn)練集規(guī)模的限制

首先，我們依據(jù)使用的模型類型，探討一些廣泛使用的經(jīng)驗(yàn)性方法：

回歸分析：依據(jù)統(tǒng)計(jì)學(xué)中的“十分之一”經(jīng)驗(yàn)法則（one-in-ten rule），每個(gè)預(yù)測(cè)器都需要使用 10 個(gè)實(shí)例訓(xùn)練。這種經(jīng)驗(yàn)法則還有其他版本，例如用于解決回歸系數(shù)縮減問(wèn)題的“二十分之一”規(guī)則（one-in-twenty rule）。最近，《Sample Size For Binary Logistic Prediction Models: Beyond Events Per Variable Criteria》一文中還提出了一種有趣的二元邏輯回歸變體。在該文中，作者通過(guò)預(yù)測(cè)器中變量的個(gè)數(shù)、總樣本量，以及正樣本量與總樣本量的比值，對(duì)訓(xùn)練數(shù)據(jù)規(guī)模進(jìn)行了估計(jì)。

計(jì)算機(jī)視覺(jué)：對(duì)于利用深度學(xué)習(xí)的圖像分類問(wèn)題，根據(jù)“經(jīng)驗(yàn)法則”，建議每一個(gè)類別收集 1000 張圖像。如果使用預(yù)訓(xùn)練模型，數(shù)據(jù)集的規(guī)模則可以大幅減少。

通過(guò)假設(shè)檢驗(yàn)確定樣本規(guī)模

假設(shè)檢驗(yàn)是數(shù)據(jù)科學(xué)常用的一種統(tǒng)計(jì)工具，一般也可以用于確定樣本規(guī)模。

舉個(gè)例子：某科技巨頭搬去 A 城后，A 城的房?jī)r(jià)便急劇上漲，而某記者想知道現(xiàn)在每套公寓的均價(jià)是多少。那么問(wèn)題來(lái)了，在保證 95% 的置信度，60 K 的公寓價(jià)格標(biāo)準(zhǔn)差，且價(jià)格誤差在10K 以內(nèi)的條件下，計(jì)算多少棟公寓的均價(jià)較為合理？

相應(yīng)公式見(jiàn)下圖，其中 N 為所需的樣本規(guī)模，1.96 為標(biāo)準(zhǔn)正態(tài)分布在 95% 置信度下所對(duì)應(yīng)的常數(shù)：

? ? ?

樣本量估計(jì)

根據(jù)上述公式，該記者需要考慮大概 138 棟公寓的價(jià)格。

該公式將隨著檢驗(yàn)問(wèn)題的不同而改變，但是都要通過(guò)置信區(qū)間、可容忍誤差和標(biāo)準(zhǔn)差值來(lái)計(jì)算。

訓(xùn)練數(shù)據(jù)規(guī)模的統(tǒng)計(jì)學(xué)習(xí)理論

我們先介紹一下著名的 VC 維（Vapnik-Chevronenkis dimension）。VC 維是一種模型復(fù)雜度的度量；模型越復(fù)雜，它的 VC 維就越高。下面介紹根據(jù) VC 維來(lái)確定訓(xùn)練數(shù)據(jù)規(guī)模的公式。

首先，通過(guò)一個(gè)例子來(lái)看一下 VC 維是如何計(jì)算的：假設(shè)一個(gè)二維平面上有三個(gè)點(diǎn)需要被分類，而我們的分類器為該平面上的一條直線。無(wú)論這三點(diǎn)怎樣組合（均為正例，兩正一負(fù)、一正兩負(fù)等），這條直線都能正確地將正負(fù)樣本歸類/分開。那么，我們就認(rèn)為一個(gè)線性分類器可以劃分這三點(diǎn)中的任意一點(diǎn)，因而它的 VC 維至少為 3。

另外，由于存在四個(gè)點(diǎn)的組合不能被一條直線準(zhǔn)確分開，所以這個(gè)線性分類器的 VC 維為 3?？梢宰C明，訓(xùn)練數(shù)據(jù)規(guī)模 N 是 VC 維的一個(gè)函數(shù)：

由 VC 維估計(jì)訓(xùn)練數(shù)據(jù)規(guī)模

其中 d 為失敗率， epsilon 為學(xué)習(xí)中的誤差率。由此可見(jiàn)，學(xué)習(xí)模型所需的樣本量取決于模型的復(fù)雜度。但該方法有一個(gè)弊端，就是在面對(duì)神經(jīng)網(wǎng)絡(luò)顯著的復(fù)雜度時(shí)，會(huì)要求十分龐大的訓(xùn)練數(shù)據(jù)規(guī)模。

當(dāng)訓(xùn)練集增大時(shí)，模型的表現(xiàn)會(huì)持續(xù)提升嗎？在深度學(xué)習(xí)任務(wù)又如何呢？

上圖展示了隨著數(shù)據(jù)規(guī)模的增長(zhǎng)，傳統(tǒng)的機(jī)器學(xué)習(xí)算法（回歸等）和深度學(xué)習(xí)表現(xiàn)的變化。

具體來(lái)看，對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，模型的表現(xiàn)先是遵循冪定律（power law），之后趨于平緩；而對(duì)于深度學(xué)習(xí)，該問(wèn)題還在持續(xù)不斷地研究中，不過(guò)圖一為目前較為一致的結(jié)論，即隨著數(shù)據(jù)規(guī)模的增長(zhǎng)，深度學(xué)習(xí)模型的表現(xiàn)會(huì)按照冪定律持續(xù)提升。例如，有人曾用深度學(xué)習(xí)方法對(duì)三億張圖像進(jìn)行分類，發(fā)現(xiàn)模型的表現(xiàn)隨著訓(xùn)練數(shù)據(jù)規(guī)模的增長(zhǎng)按對(duì)數(shù)關(guān)系提升。

值得注意的是，在深度學(xué)習(xí)中也有一些與上述例子不同的結(jié)果。比如，在《Learning Visual Features from Large Weakly Supervised Data》一文中，作者使用了一億條 Flickr 上的圖片和標(biāo)簽來(lái)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，剛開始模型表現(xiàn)會(huì)隨著數(shù)據(jù)規(guī)模的增大而提升，但超過(guò)五千萬(wàn)張圖片后模型的效果提升就不太明顯了。

文章《How Training Data Affect the Accuracy and Robustness of Neural Networks for Image Classification》的作者還發(fā)現(xiàn)，隨著訓(xùn)練數(shù)據(jù)規(guī)模的增加，圖像分類的準(zhǔn)確度確實(shí)會(huì)上升；但是，模型的魯棒性會(huì)在數(shù)據(jù)規(guī)模到達(dá)一定程度后開始下降。

分類任務(wù)中確定訓(xùn)練數(shù)據(jù)集大小的方法

該方法基于我們所熟知的學(xué)習(xí)曲線，一般而言，學(xué)習(xí)曲線圖的縱軸為誤差，橫軸為訓(xùn)練數(shù)據(jù)集大小?！禩utorial: Learning Curves for Machine Learning in Python》和《Learning Curve》是很好的參考資料，可以用于進(jìn)一步了解機(jī)器學(xué)習(xí)中的學(xué)習(xí)曲線，以及它們是如何隨著偏差或方差的增加而變化的。Python 在 scikit-learn 中提供了一種學(xué)習(xí)曲線函數(shù)。

在分類任務(wù)中，我們往往會(huì)使用學(xué)習(xí)曲線的一種輕微變體，在該曲線圖中，縱軸為分類準(zhǔn)確度，橫軸為訓(xùn)練數(shù)據(jù)集大小。訓(xùn)練集規(guī)模的確定十分簡(jiǎn)單：只需針對(duì)你的問(wèn)題，先確定學(xué)習(xí)曲線的確切形狀，然后找到曲線上你預(yù)期的分類準(zhǔn)確度所對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)集大小即可。

例如，在文章《Predicting Sample Size Required for Classification Performance》和《How Much Data Is Needed to Train A Medical Image Deep Learning System to Achieve Necessary High Accuracy?》中，作者們將學(xué)習(xí)曲線的方法應(yīng)用到了醫(yī)學(xué)領(lǐng)域，并且給出了一個(gè)相應(yīng)的冪函數(shù)：

學(xué)習(xí)曲線公式

其中，y 為分類準(zhǔn)確度，x 為訓(xùn)練集，b1,b2 分別為學(xué)習(xí)率和衰減率。根據(jù)問(wèn)題的不同，參數(shù)會(huì)有所不同，可以通過(guò)非線性回歸或加權(quán)非線性回歸對(duì)參數(shù)進(jìn)行估計(jì)。

增大訓(xùn)練集是應(yīng)對(duì)不平衡數(shù)據(jù)集的最好方式？

文章《Precision-Recall Versus Accuracy and the Role of Large Data Sets》對(duì)該問(wèn)題進(jìn)行了討論。該文作者提出了一個(gè)很有意思的觀點(diǎn)：在不平衡的數(shù)據(jù)集下，準(zhǔn)確度并不是一個(gè)分類器表現(xiàn)好壞的最佳度量。

原因很簡(jiǎn)單，對(duì)于一個(gè)負(fù)樣本為主的數(shù)據(jù)集，模型往往通過(guò)將大部分樣本分類為負(fù)樣本，以提高準(zhǔn)確度。為了更好地衡量模型效果，他們將準(zhǔn)確率和召回率（又稱敏感性）作為不平衡數(shù)據(jù)集下度量模型表現(xiàn)的合理標(biāo)準(zhǔn)。

除了上述提到的關(guān)于準(zhǔn)確度的問(wèn)題，作者們還指出，對(duì)于存在不平衡數(shù)據(jù)的問(wèn)題而言，模型的準(zhǔn)確率往往對(duì)其更加重要。比如一個(gè)醫(yī)院的警報(bào)系統(tǒng)而言，高精確率就意味著當(dāng)警鈴響起時(shí)，很有可能確實(shí)有病人遇到了麻煩。

之后，該文章分別使用較大的非平衡訓(xùn)練集和不平衡學(xué)習(xí)包（imbalanced-learn, 基于Python scikit-learn）對(duì)模型進(jìn)行了訓(xùn)練，并使用準(zhǔn)確率和召回率對(duì)訓(xùn)練效果進(jìn)行了分別的度量。

第一個(gè)模型使用了一個(gè)包含5萬(wàn)個(gè)樣本的藥物研發(fā)數(shù)據(jù)，并構(gòu)建了使用不平衡矯正方法的K-近鄰模型。第二個(gè)模型使用了一個(gè)包含大約100萬(wàn)個(gè)樣本的數(shù)據(jù)集上，構(gòu)建了一個(gè)簡(jiǎn)單的K-近鄰模型。

其中，不平衡矯正方法包括欠采樣、過(guò)采樣和集成學(xué)習(xí)。文章作者重復(fù)了200次實(shí)驗(yàn)，其結(jié)論為，當(dāng)把精確率和召回率作為度量時(shí)，沒(méi)有任何一種不平衡矯正方法比增加更多訓(xùn)練數(shù)據(jù)的效果更好。