最大似然估計(jì)學(xué)習(xí)總結(jié) - 最大似然檢測算法認(rèn)識與理解

　　最大似然估計(jì)學(xué)習(xí)總結(jié)------MadTurtle

　　1. 作用

　　在已知試驗(yàn)結(jié)果（即是樣本）的情況下，用來估計(jì)滿足這些樣本分布的參數(shù)，把可能性最大的那個(gè)參數(shù)作為真實(shí)的參數(shù)估計(jì)。

　　2. 離散型

　　設(shè)為離散型隨機(jī)變量，為多維參數(shù)向量，如果隨機(jī)變量相互獨(dú)立且概率計(jì)算式為P{，則可得概率函數(shù)為P{}=，在固定時(shí)，上式表示的概率；當(dāng)已知的時(shí)候，它又變成的函數(shù)，可以把它記為，稱此函數(shù)為似然函數(shù)。似然函數(shù)值的大小意味著該樣本值出現(xiàn)的可能性的大小，既然已經(jīng)得到了樣本值，那么它出現(xiàn)的可能性應(yīng)該是較大的，即似然函數(shù)的值也應(yīng)該是比較大的，因而最大似然估計(jì)就是選擇使達(dá)到最大值的那個(gè)作為真實(shí)的估計(jì)。

　　3. 連續(xù)型

　　設(shè)為連續(xù)型隨機(jī)變量，其概率密度函數(shù)為，為從該總體中抽出的樣本，同樣的如果相互獨(dú)立且同分布，于是樣本的聯(lián)合概率密度為。大致過程同離散型一樣。

　　4. 關(guān)于概率密度（PDF）

　　我們來考慮個(gè)簡單的情況（m=k=1），即是參數(shù)和樣本都為1的情況。假設(shè)進(jìn)行一個(gè)實(shí)驗(yàn)，實(shí)驗(yàn)次數(shù)定為10次，每次實(shí)驗(yàn)成功率為0.2，那么不成功的概率為0.8，用y來表示成功的次數(shù)。由于前后的實(shí)驗(yàn)是相互獨(dú)立的，所以可以計(jì)算得到成功的次數(shù)的概率密度為：

　　= 其中y

　　由于y的取值范圍已定，而且也為已知，所以圖1顯示了y取不同值時(shí)的概率分布情況，而圖2顯示了當(dāng)時(shí)的y值概率情況。

　　那么在［0，1］之間變化而形成的概率密度函數(shù)的集合就形成了一個(gè)模型。

　　5. 最大似然估計(jì)的求法

　　由上面的介紹可以知道，對于圖1這種情況y=2是最有可能發(fā)生的事件。但是在現(xiàn)實(shí)中我們還會(huì)面臨另外一種情況：我們已經(jīng)知道了一系列的觀察值和一個(gè)感興趣的模型，現(xiàn)在需要找出是哪個(gè)PDF（具體來說參數(shù)為多少時(shí)）產(chǎn)生出來的這些觀察值。要解決這個(gè)問題，就需要用到參數(shù)估計(jì)的方法，在最大似然估計(jì)法中，我們對調(diào)PDF中數(shù)據(jù)向量和參數(shù)向量的角色，于是可以得到似然函數(shù)的定義為：

　　該函數(shù)可以理解為，在給定了樣本值的情況下，關(guān)于參數(shù)向量取值情況的函數(shù)。還是以上面的簡單實(shí)驗(yàn)情況為例，若此時(shí)給定y為7，那么可以得到關(guān)于的似然函數(shù)為：

　　繼續(xù)回顧前面所講，圖1，2是在給定的情況下，樣本向量y取值概率的分布情況；而圖3是圖1，2橫縱坐標(biāo)軸相交換而成，它所描述的似然函數(shù)圖則指出在給定樣本向量y的情況下，符合該取值樣本分布的各種參數(shù)向量的可能性。若相比于，使得y=7出現(xiàn)的可能性要高，那么理所當(dāng)然的要比更加接近于真正的估計(jì)參數(shù)。所以求的極大似然估計(jì)就歸結(jié)為求似然函數(shù)的最大值點(diǎn)。那么取何值時(shí)似然函數(shù)最大，這就需要用到高等數(shù)學(xué)中求導(dǎo)的概念，如果是多維參數(shù)向量那么就是求偏導(dǎo)。

　　主要注意的是多數(shù)情況下，直接對變量進(jìn)行求導(dǎo)反而會(huì)使得計(jì)算式子更加的復(fù)雜，此時(shí)可以借用對數(shù)函數(shù)。由于對數(shù)函數(shù)是單調(diào)增函數(shù)，所以與具有相同的最大值點(diǎn)，而在許多情況下，求的最大值點(diǎn)比較簡單。于是，我們將求的最大值點(diǎn)改為求的最大值點(diǎn)。

　　若該似然函數(shù)的導(dǎo)數(shù)存在，那么對關(guān)于參數(shù)向量的各個(gè)參數(shù)求導(dǎo)數(shù)（當(dāng)前情況向量維數(shù)為1），并命其等于零，得到方程組：

　　可以求得時(shí)似然函數(shù)有極值，為了進(jìn)一步判斷該點(diǎn)位最大值而不是最小值，可以繼續(xù)求二階導(dǎo)來判斷函數(shù)的凹凸性，如果的二階導(dǎo)為負(fù)數(shù)那么即是最大值，這里再不細(xì)說。

　　還要指出，若函數(shù)關(guān)于的導(dǎo)數(shù)不存在，我們就無法得到似然方程組，這時(shí)就必須用其它的方法來求最大似然估計(jì)值，例如用有界函數(shù)的增減性去求的最大值點(diǎn)