機(jī)器學(xué)習(xí)的logistic函數(shù)和softmax函數(shù)總結(jié)

前言

本文簡單總結(jié)了機(jī)器學(xué)習(xí)最常見的兩個函數(shù)，logistic函數(shù)和softmax函數(shù)。首先介紹兩者的定義和應(yīng)用，最后對兩者的聯(lián)系和區(qū)別進(jìn)行了總結(jié)。

目錄

1. logisitic函數(shù)

2. softmax函數(shù)

3. logistic函數(shù)和softmax函數(shù)的關(guān)系

4. 總結(jié)

logistic函數(shù)

1.1 logistic函數(shù)定義

logsitic函數(shù)也就是經(jīng)常說的sigmoid函數(shù)，幾何形狀也就是一條sigmoid曲線。

logistic函數(shù)的定義如下：

其中，x0表示了函數(shù)曲線的中心（sigmoid midpoint），k是曲線的坡度，表示f(x)在x0的導(dǎo)數(shù)。

對應(yīng)的幾何形狀：

1.2 logistic函數(shù)的應(yīng)用

logistic函數(shù)在統(tǒng)計學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域應(yīng)用最為廣泛或最為人熟知的肯定是邏輯斯蒂回歸模型，邏輯斯蒂回歸（Logisitic Regression，簡稱LR）作為一種對數(shù)線性模型被廣泛地應(yīng)用于分類和回歸場景中，此外，logistic函數(shù)也是神經(jīng)網(wǎng)絡(luò)中最為常用的激活函數(shù)，即sigmoid函數(shù) 。

logistic函數(shù)常用作二分類場景中，表示輸入已知的情況下，輸出為1的概率：

其中，為分類的決策邊界。另一類的生成概率：

softmax函數(shù)

2.1 softmax函數(shù)的定義

softmax函數(shù)是logistic函數(shù)的一般形式，本質(zhì)是將一個K維的任意實數(shù)向量映射成K維的實數(shù)向量，其中向量中的每個元素取值都介于（0,1）之間，且所有元素的和為1。

softmax函數(shù)的表達(dá)式：

2.2 softmax函數(shù)的應(yīng)用

softmax函數(shù)經(jīng)常用在神經(jīng)網(wǎng)絡(luò)的最后一層，作為輸出層，進(jìn)行多分類。公式如下：

（2）式含義：輸入樣本為，輸出向量的每個元素為K個類別中每個類的生成概率，其中為第 j類的模型參數(shù)，為歸一化項，使得所有概率之和為1。

2.3 softmax回歸模型的參數(shù)冗余

我們對（2）式減去向量，此時，輸入樣本為，輸出為第j類的生成概率：

由上式可得，從中減去完全不影響假設(shè)函數(shù)的預(yù)測結(jié)果，表明softmax回歸模型存在冗余的參數(shù)，模型最優(yōu)化結(jié)果存在多個參數(shù)解。

解決辦法：對softmax回歸模型的損失函數(shù)引入正則化項（懲罰項），就可以保證得到唯一的最優(yōu)解。

logistic函數(shù)和softmax函數(shù)的關(guān)系

相同點：

（1）最優(yōu)模型的學(xué)習(xí)方法

我們常用梯度下降算法來求模型損失函數(shù)的最優(yōu)解，因為softmax回歸是logistic回歸的一般形式，因此最優(yōu)模型的學(xué)習(xí)方法相同。

logistic回歸的損失函數(shù)的偏導(dǎo)數(shù)：

參數(shù)更新：

由（3）式可知，當(dāng)樣本實際標(biāo)記值為1時，則會以增大的方向更新；樣本實際標(biāo)記值為-1時，則會以減小的方向更新。同理，softmax回歸參數(shù)的思想也大致相同，使得模型實際標(biāo)記的第K類的生成概率接近于1。

（2）二分類情況

logistic回歸針對的是二分類情況，而softmax解決的是多分類問題，若softmax回歸處理的是二分類問題，則表達(dá)式如下：

利用2.3節(jié)的softmax回歸的參數(shù)冗余特點，參數(shù)向量減去向量，得到：

令，上式可表示為：

與logistic二分類的表達(dá)式一致，因此，softmax回歸與logistic回歸的二分類算法相同 。

不同點：

多分類情況

logistic回歸是二分類，通過“1對1（one vs one）“分類器和”1對其他（one vs the rest）“分類器轉(zhuǎn)化為多分類。但是，這兩種方法會產(chǎn)生無法分類的區(qū)域，該區(qū)域?qū)儆诙鄠€類，如下圖：

左圖是1對多的分類情況，右圖是1對1的分類情況，綠色為無法分類的區(qū)域。

softmax回歸進(jìn)行的多分類，輸出的類別是互斥的，不存在無法分類的區(qū)域，一個輸入只能被歸為一類；

logistic多分類的解決辦法：若構(gòu)建K類的分類器，通過創(chuàng)建K類判定函數(shù)來解決無法分類的問題。假定K類判定函數(shù)為，對于輸入樣本x，

則樣本屬于第k類。

總結(jié)

logisitc函數(shù)常用于二分類和神經(jīng)網(wǎng)絡(luò)的激活函數(shù)，softmax函數(shù)常用于神經(jīng)網(wǎng)絡(luò)的輸出層，進(jìn)行多分類。logistic多分類回歸可通過設(shè)置與類數(shù)相同的判別函數(shù)來避免無法分類的情況。