最大似然估計(jì)MLE和最大后驗(yàn)估計(jì)MAP

一、最大似然估計(jì)MLE

最大似然估計(jì)就是通過最大化“參數(shù)給定情況下樣本的概率分布”來找到參數(shù)，其表達(dá)式為：

其中，w是模型參數(shù)，x是樣本數(shù)據(jù)。

分類任務(wù)下，很多模型的損失函數(shù)都可以看成是最大似然估計(jì)，如線性模型、決策樹和神經(jīng)網(wǎng)絡(luò)等等。

分類問題考慮的就是“多大概率上把一個(gè)樣本分為某一類”，所以最大化損失就是最大化條件概率分布p(x|w)。

（為什么不直接最大化p(x|w)？因?yàn)橛玫氖恰皡?shù)”模型）

最優(yōu)化所有樣本的概率分布：

二、最大后驗(yàn)估計(jì)MAP

根據(jù)貝葉斯公式，最大化后驗(yàn)=最大化似然函數(shù)*先驗(yàn)概率

三、神學(xué)角度理解

最大似然估計(jì)MLE就像無神論者，唯物主義地看世界，數(shù)據(jù)是什么就是什么，缺乏想象力；

最大后驗(yàn)估計(jì)MAP就像有神論者，唯心主義地看世界。

所謂“先驗(yàn)”其實(shí)就是像神一樣的存在。所以統(tǒng)計(jì)學(xué)中的一個(gè)貝葉斯公式，就將這個(gè)領(lǐng)域分為了兩派：唯物主義的頻率學(xué)派和唯心主義地貝葉斯學(xué)派。

MLE和MAP是參數(shù)估計(jì)的兩大類方法，第三類就是“貝葉斯估計(jì)”。貝葉斯估計(jì)和MAP一樣，只不過不需要最優(yōu)化，而是直接把概率分布求出來了。

很多損失函數(shù)在正則化之前就是MLE。加了正則化項(xiàng)，即加了先驗(yàn)，一種對(duì)參數(shù)的主觀認(rèn)知，從而達(dá)到緩解過擬合的問題。

無論人工智能還是機(jī)器學(xué)習(xí)，本質(zhì)上都是在研究“人”的智慧。只不過用更加嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)語言算法，和更實(shí)用的代碼表示出來。