最流行的回歸評(píng)估指標(biāo)

作為一名數(shù)據(jù)科學(xué)家，評(píng)估機(jī)器學(xué)習(xí)模型性能是您工作的一個(gè)關(guān)鍵方面。為了有效地做到這一點(diǎn)，您可以使用各種統(tǒng)計(jì)指標(biāo)，每種指標(biāo)都有自己獨(dú)特的優(yōu)勢(shì)和劣勢(shì)。通過對(duì)這些指標(biāo)的深入理解，您不僅可以更好地選擇最佳指標(biāo)來(lái)優(yōu)化模型，還可以向業(yè)務(wù)利益相關(guān)者解釋您的選擇及其影響。

在這篇文章中，我重點(diǎn)討論了用于評(píng)估回歸問題的指標(biāo)，這些回歸問題涉及到預(yù)測(cè)一個(gè)數(shù)值，無(wú)論是房?jī)r(jià)還是下個(gè)月公司銷售額的預(yù)測(cè)。由于回歸分析可以被認(rèn)為是數(shù)據(jù)科學(xué)的基礎(chǔ)，因此理解其中的細(xì)微差別至關(guān)重要

殘留物快速入門

殘差是大多數(shù)度量的構(gòu)建塊。簡(jiǎn)單地說(shuō)，殘差是實(shí)際值和預(yù)測(cè)值之間的差值

residual = actual - prediction

紅線是機(jī)器學(xué)習(xí)模型的擬合，在這種情況下線性回歸橙色線表示觀測(cè)值與該觀測(cè)的預(yù)測(cè)值之間的差異。正如您所看到的，殘差是為樣本中的每個(gè)觀測(cè)值計(jì)算的，無(wú)論是訓(xùn)練集還是測(cè)試集。

回歸評(píng)估指標(biāo)

本節(jié)討論了一些最流行的回歸評(píng)估指標(biāo)，這些指標(biāo)可以幫助您評(píng)估模型的有效性。

偏見

最簡(jiǎn)單的誤差度量是殘差之和，有時(shí)被稱為偏差。由于殘差既可以是正的（預(yù)測(cè)值小于實(shí)際值）也可以是負(fù)的（預(yù)測(cè)大于實(shí)際值），所以偏差通常會(huì)告訴你的預(yù)測(cè)值是高于還是低于實(shí)際值

然而，由于相反符號(hào)的殘差相互抵消，您可以獲得一個(gè)生成偏差非常低的預(yù)測(cè)的模型，而該模型根本不準(zhǔn)確。

或者，您可以計(jì)算平均殘差，或者平均偏誤（ MBE ）。

R 平方

下一個(gè)指標(biāo)可能是你在學(xué)習(xí)回歸模型時(shí)遇到的第一個(gè)指標(biāo)，尤其是在統(tǒng)計(jì)學(xué)或計(jì)量經(jīng)濟(jì)學(xué)課程中。R 平方 （ R 2），也稱為決定系數(shù)，表示由模型解釋的方差比例。更準(zhǔn)確地說(shuō)， R 2對(duì)應(yīng)于因變量（目標(biāo)）的方差可以由自變量（特征）解釋的程度

以下公式用于計(jì)算 R 2：

RSS 是殘差平方和，即殘差平方和。此值捕獲模型的預(yù)測(cè)誤差。

TSS 是平方的總和。為了計(jì)算這個(gè)值，假設(shè)一個(gè)簡(jiǎn)單的模型，其中每個(gè)觀測(cè)的預(yù)測(cè)是所有觀測(cè)到的實(shí)際值的平均值。 TSS 與因變量的方差成比例，如下所示是的實(shí)際方差y哪里N是觀測(cè)次數(shù).把 TSS 想象成一個(gè)簡(jiǎn)單的均值模型無(wú)法解釋的方差

實(shí)際上，您正在比較模型（由圖 2 中的紅線表示）與簡(jiǎn)單平均模型（由綠線表示）的擬合。

知道 R 2的組成部分代表什么，你可以看到表示您的模型無(wú)法解釋的目標(biāo)中總方差的分?jǐn)?shù)

在使用 R 2時(shí)，需要記住以下幾點(diǎn)。

R 2是一個(gè)相對(duì)度量；也就是說(shuō)，它可以用來(lái)與在同一數(shù)據(jù)集上訓(xùn)練的其他模型進(jìn)行比較。值越高表示擬合效果越好。

R 2也可以用來(lái)粗略估計(jì)模型的總體性能。然而，在使用 R 2進(jìn)行此類評(píng)估時(shí)要小心：

首先，不同的領(lǐng)域（社會(huì)科學(xué)、生物學(xué)、金融等）認(rèn)為 R 2的不同值是好是壞。

其次， R 2沒有給出任何偏差的度量，所以你可以有一個(gè) R 2值很高的過擬合（高偏差）模型。因此，您還應(yīng)該查看其他指標(biāo)，以更好地了解模型的性能。

R 2的一個(gè)潛在缺點(diǎn)是，它假設(shè)每個(gè)特征都有助于解釋目標(biāo)的變化，而事實(shí)并非總是如此。因此，如果繼續(xù)將特征添加到使用普通最小二乘法（ OLS ）估計(jì)的線性模型中， R 2的值可能會(huì)增加或保持不變，但永遠(yuǎn)不會(huì)減少。

為什么？通過設(shè)計(jì)， OLS 估計(jì)使 RSS 最小化。假設(shè)一個(gè)具有附加特征的模型不能提高第一個(gè)模型的 R 2值。在這種情況下， OLS 估計(jì)技術(shù)將該特征的系數(shù)設(shè)置為零（或一些統(tǒng)計(jì)上不重要的值）。反過來(lái)，這會(huì)有效地將您帶回初始模型。在最壞的情況下，你可以得到起點(diǎn)的分?jǐn)?shù)。

上一點(diǎn)提到的問題的解決方案是調(diào)整后的 R2，它額外懲罰添加對(duì)預(yù)測(cè)目標(biāo)無(wú)用的特征。如果由于添加新功能而導(dǎo)致的 R2 增加不夠顯著，則調(diào)整后的 R2 的值會(huì)降低。

如果使用 OLS 擬合線性模型，則 R 2的范圍為 0 到 1 。這是因?yàn)楫?dāng)使用 OLS 估計(jì)（使 RSS 最小化）時(shí)，一般屬性是RSS ≤ TSS 。在最壞的情況下， OLS 估計(jì)將導(dǎo)致獲得平均模型。在這種情況下， RSS 將等于 TSS ，并導(dǎo)致 R 2的最小值為 0 。另一方面，最好的情況是 RSS = 0 和 R 2= 1 。

在非線性模型的情況下， R 2可能是負(fù)的。由于此類模型的模型擬合過程不是基于迭代最小化 RSS ，因此擬合模型的 RSS 可能大于 TSS 。換句話說(shuō)，該模型的預(yù)測(cè)比簡(jiǎn)單均值模型更適合數(shù)據(jù)。有關(guān)更多信息，請(qǐng)參閱When is R squared negative?

額外的好處：使用 R 2，您可以評(píng)估與簡(jiǎn)單均值模型相比，您的模型更適合數(shù)據(jù)。從提高基線模型性能的角度來(lái)考慮一個(gè)正的 R 2值——類似于技能得分。例如， 40% 的 R 2表示您的模型與基線（即均值模型）相比，均方誤差減少了 40% 。

均方誤差

均方誤差（ MSE ）是最流行的評(píng)估指標(biāo)之一。如以下公式所示， MSE 與殘差平方和密切相關(guān)。不同的是，您現(xiàn)在感興趣的是平均誤差，而不是總誤差。

使用 MSE 時(shí)需要考慮以下幾點(diǎn)：

MSE 使用平均值（而不是總和）來(lái)保持度量與數(shù)據(jù)集大小無(wú)關(guān)。

隨著殘差的平方， MSE 對(duì)大誤差的懲罰要大得多。其中一些可能是異常值，因此 MSE 對(duì)它們的存在并不穩(wěn)健。

由于度量是用平方、和和常數(shù)來(lái)表示的 () ，它是可微的。這對(duì)優(yōu)化算法很有用。

在對(duì) MSE 進(jìn)行優(yōu)化（將其導(dǎo)數(shù)設(shè)置為 0 ）時(shí)，該模型的目標(biāo)是預(yù)測(cè)的總和等于實(shí)際的總和。也就是說(shuō)，它導(dǎo)致了平均正確的預(yù)測(cè)。因此，他們是不偏不倚的。

MSE 不是以原始單位測(cè)量的，這可能會(huì)使其更難解釋

MSE 是尺度相關(guān)度量的一個(gè)例子，也就是說(shuō)，誤差以基礎(chǔ)數(shù)據(jù)的單位表示（即使它實(shí)際上需要一個(gè)平方根來(lái)以相同的尺度表示）。因此，此類度量不能用于比較不同數(shù)據(jù)集之間的性能。

均方根誤差

均方根誤差（ RMSE ）與 MSE 密切相關(guān)，因?yàn)樗皇呛笳叩钠椒礁?。取平方將度量帶回目?biāo)變量的刻度，這樣更容易解釋和理解。然而，請(qǐng)注意：一個(gè)經(jīng)常被忽視的事實(shí)是，盡管 RMSE 與目標(biāo)的規(guī)模相同，但 RMSE 為 10 并不意味著你平均減少了 10 個(gè)單位。

除了規(guī)模之外， RMSE 具有與 MSE 相同的屬性。事實(shí)上，在訓(xùn)練模型的同時(shí)對(duì) RMSE 進(jìn)行優(yōu)化將產(chǎn)生與在對(duì) MSE 進(jìn)行優(yōu)化時(shí)獲得的模型相同的模型。

平均絕對(duì)誤差

要計(jì)算的公式平均絕對(duì)誤差（ MAE ）類似于 MSE 公式。將正方形替換為絕對(duì)值

MAE 的特點(diǎn)包括：

由于缺乏平方，度量以與目標(biāo)變量相同的比例表示，因此更容易解釋

所有誤差都被同等對(duì)待，因此度量對(duì)異常值是魯棒的。

絕對(duì)值忽略了誤差的方向，因此欠填=過填。

與 MSE 和 RMSE 類似， MAE 也依賴于規(guī)模，因此無(wú)法在不同的數(shù)據(jù)集之間進(jìn)行比較。

當(dāng)您為 MAE 進(jìn)行優(yōu)化時(shí)，預(yù)測(cè)值必須比實(shí)際值高出許多倍，因?yàn)樗鼞?yīng)該更低。這意味著你正在有效地尋找中位數(shù)；也就是說(shuō)，一個(gè)將數(shù)據(jù)集拆分為兩個(gè)相等部分的值

由于公式包含絕對(duì)值，因此 MAE 不容易微分。

平均絕對(duì)百分比誤差

平均絕對(duì)百分比誤差（ MAPE ）是商業(yè)方面最受歡迎的指標(biāo)之一。這是因?yàn)樗且园俜直缺硎镜?，這使得它更容易理解和解釋。

為了使度量更容易閱讀，將其乘以 100% ，以百分比表示數(shù)字。

需要考慮的要點(diǎn)：

MAPE 以百分比表示，這使它成為一個(gè)與尺度無(wú)關(guān)的度量。它可以用來(lái)比較不同尺度上的預(yù)測(cè)

MAPE 可以超過 100% 。

當(dāng)實(shí)際值為零時(shí)（除以零）， MAPE 是未定義的。此外，當(dāng)實(shí)際值非常接近零時(shí)，它可以取極值。

MAPE 是不對(duì)稱的，對(duì)負(fù)誤差（當(dāng)預(yù)測(cè)高于實(shí)際值時(shí)）的懲罰比對(duì)正誤差的懲罰更重。這是因?yàn)閷?duì)于過低的預(yù)測(cè)，百分比誤差不能超過 100% 。同時(shí)，對(duì)于過高的預(yù)測(cè)沒有上限。因此，對(duì) MAPE 的優(yōu)化將有利于預(yù)測(cè)不足而不是預(yù)測(cè)過度的模型。

Hyndman （ 2021 ）闡述了 MAPE 的常見假設(shè)；也就是說(shuō)，變量的測(cè)量單位有一個(gè)有意義的零值。因此，預(yù)測(cè)需求和使用 MAPE 不會(huì)引發(fā)任何危險(xiǎn)信號(hào)。然而，當(dāng)預(yù)測(cè)以攝氏度表示的溫度時(shí)，你會(huì)遇到這個(gè)問題（不僅僅是這個(gè)）。這是因?yàn)闇囟扔幸粋€(gè)任意的零點(diǎn)，在它們的上下文中談?wù)摪俜直仁菦]有意義的。

MAPE 不是處處可微的，這可能會(huì)導(dǎo)致在使用它作為優(yōu)化準(zhǔn)則時(shí)出現(xiàn)問題。

由于 MAPE 是一個(gè)相對(duì)度量，相同的誤差可能會(huì)導(dǎo)致不同的損失，具體取決于實(shí)際值。例如，對(duì)于 60 的預(yù)測(cè)值和 100 的實(shí)際值， MAPE 將是 40% 。對(duì)于 60 的預(yù)測(cè)值和 20 的實(shí)際值，標(biāo)稱誤差仍然是 40 ，但在相對(duì)尺度上，它是 300% 。

不幸的是， MAPE 并不能提供一種很好的方法來(lái)區(qū)分重要的和不相關(guān)的。假設(shè)你正在進(jìn)行需求預(yù)測(cè)，在幾個(gè)月的時(shí)間里，你會(huì)得到兩種不同產(chǎn)品 10% 的 MAPE 。然后，事實(shí)證明，第一款產(chǎn)品平均每月銷售 100 萬(wàn)臺(tái)，而另一款只有 100 臺(tái)。兩者具有相同的 10%MAPE 。當(dāng)對(duì)所有產(chǎn)品進(jìn)行匯總時(shí)，這兩種產(chǎn)品的貢獻(xiàn)是相等的，這可能遠(yuǎn)遠(yuǎn)不夠理想。在這種情況下，考慮加權(quán) MAPE （ wMAPE ）是有意義的。

對(duì)稱平均絕對(duì)百分比誤差

在討論 MAPE 時(shí)，我提到它的一個(gè)潛在缺點(diǎn)是它的不對(duì)稱性（不限制高于實(shí)際值的預(yù)測(cè)）。對(duì)稱平均絕對(duì)百分比誤差（ sMAPE ）是一個(gè)試圖解決該問題的相關(guān)指標(biāo)。

使用 sMAPE 時(shí)需要考慮的要點(diǎn)：

它表示為有界百分比，也就是說(shuō)，它有下限（ 0% ）和上限（ 200% ）。

當(dāng)真實(shí)值和預(yù)測(cè)值都非常接近零時(shí)，度量仍然不穩(wěn)定。當(dāng)它發(fā)生時(shí)，你將處理一個(gè)非常接近零的數(shù)字的除法。

0% 到 200% 的范圍解釋起來(lái)并不直觀。分母中的除以二經(jīng)常被省略。

每當(dāng)實(shí)際值或預(yù)測(cè)值為 0 時(shí)， sMAPE 將自動(dòng)達(dá)到上限值。

sMAPE 包括與 MAPE 相同的關(guān)于有意義零值的假設(shè)。

在固定無(wú)邊界的不對(duì)稱性的同時(shí)， sMAPE 引入了另一種由公式的分母引起的微妙不對(duì)稱性。想象兩個(gè)案例。在第一個(gè)例子中， A = 100 ， F = 120 。 sMAPE 為 18 . 2% 。現(xiàn)在，在類似的情況下，當(dāng) a = 100 和 F = 80 時(shí)， sMAPE 是 22 . 2% 。因此， sMAPE 傾向于比過度加注更嚴(yán)厲地懲罰加注不足。

sMAPE 可能是最具爭(zhēng)議的誤差度量之一，尤其是在時(shí)間序列預(yù)測(cè)中。這是因?yàn)槲墨I(xiàn)中至少有幾個(gè)版本的這種度量，每個(gè)版本都有輕微的差異，影響其性質(zhì)。最后，度量的名稱表明不存在不對(duì)稱性，但事實(shí)并非如此。

需要考慮的其他回歸評(píng)估指標(biāo)

我沒有描述所有可能的回歸評(píng)估指標(biāo)，因?yàn)橛袔资畟€(gè)（如果不是幾百個(gè)的話）。以下是評(píng)估模型時(shí)需要考慮的其他一些指標(biāo)：

均方對(duì)數(shù)誤差（ MSLE ）是 MSE 的表親，不同之處在于，在計(jì)算平方誤差之前，您需要對(duì)實(shí)際值和預(yù)測(cè)值進(jìn)行對(duì)數(shù)。在減法中取兩個(gè)元素的對(duì)數(shù)，結(jié)果是測(cè)量實(shí)際值和預(yù)測(cè)值之間的比率或相對(duì)差異，而忽略了數(shù)據(jù)的規(guī)模。這就是為什么 MSLE 減少了異常值對(duì)最終得分的影響。 MSLE 還加大了對(duì)欠充注的懲罰力度

均方根對(duì)數(shù)誤差（ RMSLE ）是一個(gè)以 MSLE 的平方根為單位的度量。它具有與 MSLE 相同的屬性

Akaike 信息準(zhǔn)則（ AIC ）和貝葉斯信息準(zhǔn)則（ BIC ）是信息標(biāo)準(zhǔn)的例子。它們用于在良好的擬合和模型的復(fù)雜性之間找到平衡。如果你從一個(gè)簡(jiǎn)單的模型開始，添加一些參數(shù)，你的模型可能會(huì)更好地適應(yīng)訓(xùn)練數(shù)據(jù)。然而，它的復(fù)雜性也會(huì)增加，并有過度擬合的風(fēng)險(xiǎn)。另一方面，如果從許多參數(shù)開始，并系統(tǒng)地刪除其中一些參數(shù)，則模型會(huì)變得更簡(jiǎn)單。同時(shí)，您可以降低過擬合的風(fēng)險(xiǎn)，但可能會(huì)損失性能（擬合優(yōu)度）。 AIC 和 BIC 之間的區(qū)別在于復(fù)雜性懲罰的權(quán)重。請(qǐng)記住，將不同數(shù)據(jù)集甚至同一數(shù)據(jù)集的子樣本上的信息標(biāo)準(zhǔn)與不同數(shù)量的觀測(cè)值進(jìn)行比較是無(wú)效的。

何時(shí)使用每個(gè)評(píng)估指標(biāo)

與大多數(shù)數(shù)據(jù)科學(xué)問題一樣，沒有單一的最佳指標(biāo)來(lái)評(píng)估回歸模型的性能。為用例選擇的度量將取決于用于訓(xùn)練模型的數(shù)據(jù)、您試圖幫助的商業(yè)案例等等。因此，您可能經(jīng)常使用單個(gè)度量來(lái)訓(xùn)練模型（為其優(yōu)化的度量），但在向利益相關(guān)者報(bào)告時(shí)，數(shù)據(jù)科學(xué)家通常會(huì)提供一系列度量。

在選擇指標(biāo)時(shí)，請(qǐng)考慮以下幾個(gè)問題：

您預(yù)計(jì)數(shù)據(jù)集中會(huì)出現(xiàn)頻繁的異常值嗎？如果是這樣的話，你想如何解釋它們？

是否存在過度加注或加注不足的商業(yè)偏好？

您想要一個(gè)與規(guī)模相關(guān)的度量還是與規(guī)模無(wú)關(guān)的度量？

我認(rèn)為探索一些玩具箱的指標(biāo)以充分理解它們的細(xì)微差別是有用的。雖然大多數(shù)指標(biāo)在metrics的模塊scikit-learn對(duì)于這個(gè)特定的任務(wù)，好的舊電子表格可能是一個(gè)更合適的工具。

以下示例包含五個(gè)觀察結(jié)果。表 1 顯示了用于計(jì)算大多數(shù)考慮的度量的實(shí)際值、預(yù)測(cè)和一些度量。

表 1 。根據(jù)五個(gè)觀察結(jié)果計(jì)算性能指標(biāo)的示例

表 2 。使用表 1 中的值計(jì)算的性能指標(biāo)

前三行包含實(shí)際值和預(yù)測(cè)值之間的絕對(duì)差為 20 的場(chǎng)景。前兩行顯示了 20 的過量和不足，實(shí)際情況相同。第三行顯示了 20 的超額預(yù)測(cè)，但實(shí)際值較小。在這些行中，很容易觀察到 MAPE 和 sMAPE 的特殊性。

表 1 中的第五行包含比實(shí)際值小 8x 的預(yù)測(cè)。為了實(shí)驗(yàn)起見，將預(yù)測(cè)值替換為比實(shí)際值高 8 倍的預(yù)測(cè)值。表 3 包含修訂后的意見。

表 3 。將單個(gè)觀測(cè)修改為更極端后的性能指標(biāo)

表 4 。使用表 3 中的修改值計(jì)算的性能指標(biāo)

基本上，所有指標(biāo)的大小都呈爆炸式增長(zhǎng)，這在直覺上是一致的。 sMAPE 的情況并非如此，在兩種情況下都保持不變

我強(qiáng)烈鼓勵(lì)您參考這些玩具示例，以便更充分地了解不同類型的場(chǎng)景如何影響評(píng)估指標(biāo)。這個(gè)實(shí)驗(yàn)應(yīng)該讓你更容易決定優(yōu)化哪個(gè)指標(biāo)以及這種選擇的后果。這些練習(xí)也可以幫助你向利益相關(guān)者解釋你的選擇。

總結(jié)

在這篇文章中，我介紹了一些最流行的回歸評(píng)估指標(biāo)。正如所解釋的，每一個(gè)都有自己的優(yōu)點(diǎn)和缺點(diǎn)。這取決于數(shù)據(jù)科學(xué)家來(lái)理解這些，并選擇哪一個(gè)（或多個(gè)）適合特定的用例。所提到的度量也可以應(yīng)用于純回歸任務(wù)，例如基于與經(jīng)驗(yàn)相關(guān)的特征選擇來(lái)預(yù)測(cè)工資，也可以應(yīng)用到時(shí)間序列預(yù)測(cè)領(lǐng)域。