一個從數(shù)據(jù)中估計參數(shù)的基礎機器學習問題

假如你有一個硬幣。你把它投擲 3 次，出現(xiàn)了 3 次正面。下一次投擲硬幣正面朝上的概率是多少? 這是一個從數(shù)據(jù)中估計參數(shù)的基礎機器學習問題。在這種情況下，我們要從數(shù)據(jù) D 中估算出正面朝上 h 的概率。

最大似然估計

一種方法是找到能最大化觀測數(shù)據(jù)的似然函數(shù)（即 P(D;h)）的參數(shù) h 的值。在這里，我們用「；」來表示 h 是一個關(guān)于概率分布 P 的參數(shù)，意味著參數(shù) h 定義了分布 P，但是分布 P 只是說明了觀測數(shù)據(jù) D 成立的可能性有多大。

這是被稱為「最大似然估計」的最常用的參數(shù)估計方法。通過該方法，我們估計出 h=1.0。

但是直覺告訴我們，這是不可能的。對于大多數(shù)的硬幣來說，還是存在反面朝上的結(jié)果的可能性，因此我們通常希望得到像 h=0.5 這樣的結(jié)果。

先驗和后驗

如何將這種直覺數(shù)學化地表述出來呢？我們可以定義一個觀測數(shù)據(jù)和參數(shù)的聯(lián)合概率：p(D, h) = p(D|h)p(h)。我們定義一個先驗分布 p（h) 來表示在觀測前關(guān)于 h 應該是什么值的直覺，以及在給定參數(shù) h 的情況下的條件概率 p(D|h)。

如何利用現(xiàn)有的數(shù)據(jù) D 估計參數(shù) h 呢？我們需要得到后驗分布 p（h|D），但是目前只有分布 P(D|h) 和 p(h)。這時候，你需要貝葉斯公式來幫忙!

貝葉斯公式：P(h|D)=P(D|h)*P(h)/P(D)

但是，這里的分母是一個問題：

一般來說，計算這個積分是不可能的。對于這個投硬幣的例子來說，如果使用非常特殊的共軛先驗分布，就可以繞過這個問題。

最大后驗估計

但實際上，我們可以拋開歸一化常數(shù) P(D) 以更巧妙的方式討論 p(h|D)。也就是說歸一化常數(shù)不改變分布的相對大小，我們可以在不做積分的情況下找到模式：

這就是人們所熟知的最大后驗估計（MAP）。有很多種方法可以算出變量 h 的確切值，例如：使用共軛梯度下降法。

貝葉斯參數(shù)估計

有了最大后驗估計，可以通過先驗分布來引入我們的直覺，并且忽略歸一化積分，從而得到后驗分布模式下的關(guān)于 h 的點估計。

但是如果我們試著用近似方法求積分呢？如果按通常的獨立同分布假設，我們可以利用這個事實：未來可能出現(xiàn)的數(shù)據(jù)樣本值 x 條件獨立于給定參數(shù) h 時的觀測值 D。

這并非使用與后驗概率 p(h|D) 模式相應的參數(shù) h 的單一值來計算 P(x|h)，而是一個更加「嚴格」的方法，它讓我們考慮到所有可能的 h 的后驗值。這種方法被稱為貝葉斯參數(shù)估計。

注意，存在兩個關(guān)于概率分布的重要任務：

推斷：給定已知參數(shù)的聯(lián)合分布，通過其它變量的邊緣概率和條件概率估計一個變量子集上的概率分布。

參數(shù)估計：從數(shù)據(jù)中估計某個概率分布的未知參數(shù)

貝葉斯參數(shù)估計將這兩項任務構(gòu)造成了「同一枚硬幣的兩面」：

估計在一組變量上定義的概率分布的參數(shù)，就是推斷一個由原始變量和參數(shù)構(gòu)成的元分布。

當然，實際上要做到這一點，需要計算困難的積分，我們將不得不用類似于「馬爾可夫鏈蒙特卡洛算法」或者變分推斷等方法取近似。