原文鏈接：http://tecdat.cn/?p=24103

此示例說明如何使用邏輯回歸模型進(jìn)行貝葉斯推斷?（?點(diǎn)擊文末“閱讀原文”獲取完整代碼數(shù)據(jù)?）。

統(tǒng)計推斷通?；谧畲笏迫还烙?(MLE)。MLE 選擇能夠使數(shù)據(jù)似然最大化的參數(shù)，是一種較為自然的方法。在 MLE 中，假定參數(shù)是未知但固定的數(shù)值，并在一定的置信度下進(jìn)行計算。在貝葉斯統(tǒng)計中，使用概率來量化未知參數(shù)的不確定性，因而未知參數(shù)被視為隨機(jī)變量。

貝葉斯推斷

貝葉斯推斷是結(jié)合有關(guān)模型或模型參數(shù)的先驗知識來分析統(tǒng)計模型的過程。這種推斷的根基是貝葉斯定理：

例如，假設(shè)我們有正態(tài)觀測值

其中 sigma 是已知的，theta 的先驗分布為

在此公式中，mu 和 tau（有時也稱為超參數(shù)）也是已知的。如果觀察?X?的?n?個樣本，我們可以獲得 theta 的后驗分布

下圖顯示 theta 的先驗、似然和后驗。

y?=?norpdf(thta,?posMan,psSD);plot(theta'-',?theta,'--',?theta,'-.')

汽車實驗數(shù)據(jù)

在一些簡單的問題中，例如前面的正態(tài)均值推斷示例，很容易計算出封閉形式的后驗分布。但是，在涉及非共軛先驗的一般問題中，后驗分布很難或不可能通過分析來進(jìn)行計算。我們將以邏輯回歸作為示例。此示例包含一個實驗，以幫助建模不同重量的汽車在里程測試中的未通過比例。數(shù)據(jù)包括被測汽車的重量、汽車數(shù)量以及失敗次數(shù)等觀測值。我們采用一組經(jīng)過變換的重量，以減少回歸參數(shù)估值的相關(guān)性。

%?一組汽車的重量%?每個重量下測試的汽車數(shù)量[48?42?31?34?31?21?23?23?21?16?17?21]';%?在每個重量上有不良mpg表現(xiàn)的汽車數(shù)量[1?2?0?3?8?8?14?17?19?15?17?21]';

邏輯回歸模型

邏輯回歸（廣義線性模型的一種特例）適合這些數(shù)據(jù)，因為因變量呈二項分布。邏輯回歸模型可以寫作：

其中 X 是設(shè)計矩陣，b 是包含模型參數(shù)的向量。我們可以將此方程寫作：

?@(b,x)?exp(b(1)+b(2).*x)./(1+exp(b(1)+b(2).*x));

如果您有一些先驗知識或者已經(jīng)具備某些非信息性先驗，則可以指定模型參數(shù)的先驗概率分布。例如，在此示例中，我們使用正態(tài)先驗值表示截距?b1?和斜率?b2，即

@(b1)?normpdf(b1,0,20);?%?截距的先驗。@(b2)?normpdf(b2,0,20);?%?斜率的先驗。

根據(jù)貝葉斯定理，模型參數(shù)的聯(lián)合后驗分布與似然和先驗的乘積成正比。

請注意，此模型中后驗的歸一化常數(shù)很難進(jìn)行分析。但是，即使不知道歸一化常數(shù)，如果您知道模型參數(shù)的大致范圍，也可以可視化后驗分布。

msh(b2,b1,sipot)view(-10,30)

此后驗沿參數(shù)空間的對角線伸長，表明（在我們觀察數(shù)據(jù)后）我們認(rèn)為參數(shù)是相關(guān)的。這很有意思，因為在我們收集任何數(shù)據(jù)之前，我們假設(shè)它們是獨(dú)立的。相關(guān)性來自我們的先驗分布與似然函數(shù)的組合。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

R語言隨機(jī)森林RandomForest、邏輯回歸Logisitc預(yù)測心臟病數(shù)據(jù)和可視化分析

左右滑動查看更多

01

02

03

04

_切片_采樣

蒙特卡羅方法常用于在貝葉斯數(shù)據(jù)分析中匯總后驗分布。其想法是，即使您不能通過分析的方式計算后驗分布，也可以從分布中生成隨機(jī)樣本，并使用這些隨機(jī)值來估計后驗分布或推斷的統(tǒng)計量，如后驗均值、中位數(shù)、標(biāo)準(zhǔn)差等。_切片_采樣是一種算法，用于從具有任意密度函數(shù)的分布中進(jìn)行抽樣，已知項最多只有一個比例常數(shù) - 而這正是從歸一化常數(shù)未知的復(fù)雜后驗分布中抽樣所需要的。此算法不生成獨(dú)立樣本，而是生成馬爾可夫序列，其平穩(wěn)分布就是目標(biāo)分布。因此，切片抽樣器是一種馬爾可夫鏈蒙特卡羅 (MCMC) 算法。但是，它與其他眾所周知的 MCMC 算法不同，因為只需要指定縮放的后驗，不需要建議分布或邊緣分布。

此示例說明如何使用切片抽樣器作為里程測試邏輯回歸模型的貝葉斯分析的一部分，包括從模型參數(shù)的后驗分布生成隨機(jī)樣本、分析抽樣器的輸出，以及對模型參數(shù)進(jìn)行推斷。第一步是生成隨機(jī)樣本。

?sliesmle(inial,nsapes,'pdf');

采樣器輸出分析

從切片采樣獲取隨機(jī)樣本后，很重要的一點(diǎn)是研究諸如收斂和混合之類的問題，以確定將樣本視為是來自目標(biāo)后驗分布的一組隨機(jī)實現(xiàn)是否合理。觀察邊緣軌跡圖是檢查輸出的最簡單方法。

plot(trace(:,1))

從這些圖中可以明顯看出，在處理過程趨于平穩(wěn)之前，參數(shù)起始值的影響會維持一段時間（大約 50 個樣本）才會消失。

檢查收斂以使用移動窗口計算統(tǒng)計量（例如樣本的均值、中位數(shù)或標(biāo)準(zhǔn)差）也很有幫助。這樣可以產(chǎn)生比原始樣本軌跡更平滑的圖，并且更容易識別和理解任何非平穩(wěn)性。

mvag?=?fier(?(1/50)*os(50,1),?1,?tace);plot(moav(:,1))

由于這些是基于包含 50 次迭代的窗口計算的移動平均值，因此前 50 個值無法與圖中的其他值進(jìn)行比較。然而，每個圖的其他值似乎證實參數(shù)后驗均值在 100 次左右迭代后收斂至平穩(wěn)分布。同樣顯而易見的是，這兩個參數(shù)彼此相關(guān)，與之前的后驗密度圖一致。

由于磨合期代表目標(biāo)分布中不能合理視為隨機(jī)實現(xiàn)的樣本，因此不建議使用切片采樣器一開始輸出的前 50 個左右的值。您可以簡單地刪除這些輸出行，但也可以指定一個“預(yù)熱”期。在已知合適的預(yù)熱長度（可能來自先前的運(yùn)行）時，這種方式很簡便。

slcsapl(inial,nsmes,'pf',pot,?..'brin',50);plot(trace(:,1))

這些跟蹤圖沒有顯示出任何不平穩(wěn)，表明預(yù)熱期已完成。

但是，還需要了解跟蹤圖的另一方面。雖然截距的軌跡看起來像高頻噪聲，但斜率的軌跡好像具有低頻分量，表明相鄰迭代的值之間存在自相關(guān)。雖然也可以從這個自相關(guān)樣本計算均值，但我們通常會通過刪除樣本中的冗余數(shù)據(jù)這一簡便的操作來降低存儲要求。如果它同時消除了自相關(guān)，我們還可以將這些數(shù)據(jù)視為獨(dú)立值樣本。例如，您可以通過只保留第 10 個、第 20 個、第 30 個等值來稀釋樣本。

sceampe(...????????????????????????????????????????????????'brin'50,'tin',10);

要檢查這種稀釋的效果，可以根據(jù)軌跡估計樣本自相關(guān)函數(shù)，并使用它們來檢查樣本是否快速混合。

?fftetendtrce,'cnsant');?F?.*?coj(F);for?i?=?1:2???lineles?=??stem(:20,?F(:i)??'filled'?,?'o');

第一個滯后的自相關(guān)值對于截距參數(shù)很明顯，對于斜率參數(shù)更是如此。我們可以使用更大的稀釋參數(shù)重復(fù)抽樣，以進(jìn)一步降低相關(guān)性。但為了完成本示例的目的，我們將繼續(xù)使用當(dāng)前樣本。

推斷模型參數(shù)

與預(yù)期相符，樣本直方圖模擬了后驗密度圖。

hist(rce,[25,25]);view(-10,30)

您可以使用直方圖或核平滑密度估計值來總結(jié)后驗樣本的邊緣分布屬性。

kdeiy(rae(:2))

您還可以計算描述性統(tǒng)計量，例如隨機(jī)樣本的后驗均值或百分位數(shù)。為了確定樣本大小是否足以實現(xiàn)所需的精度，將所需的軌跡統(tǒng)計量作為樣本數(shù)的函數(shù)來進(jìn)行查看會很有幫助。

csu=?csm(rae);plot(csm(:,1)'./(1:sals))

在這種情況下，樣本大小 1000 似乎足以為后驗均值估計值提供良好的精度。

mean(te)

總結(jié)

您能夠輕松地指定似然和先驗。您也可以將它們結(jié)合起來用于推斷后驗分布。您可以通過馬爾可夫鏈蒙特卡羅仿真在 MATLAB 中執(zhí)行貝葉斯分析。

點(diǎn)擊文末?“閱讀原文”

獲取全文完整資料。

本文選自《matlab用馬爾可夫鏈蒙特卡羅 (MCMC) 的Logistic邏輯回歸模型分析汽車實驗數(shù)據(jù)》。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

R語言coda貝葉斯MCMC Metropolis-Hastings采樣鏈分析和收斂診斷可視化
R語言實現(xiàn)MCMC中的Metropolis–Hastings算法與吉布斯采樣
R語言貝葉斯METROPOLIS-HASTINGS GIBBS 吉布斯采樣器估計變點(diǎn)指數(shù)分布分析泊松過程車站等待時間
R語言馬爾可夫MCMC中的METROPOLIS HASTINGS，MH算法抽樣（采樣）法可視化實例
python貝葉斯隨機(jī)過程：馬爾可夫鏈Markov-Chain，MC和Metropolis-Hastings，MH采樣算法可視化
Python貝葉斯推斷Metropolis-Hastings（M-H）MCMC采樣算法的實現(xiàn)
Metropolis Hastings采樣和貝葉斯泊松回歸Poisson模型
Matlab用BUGS馬爾可夫區(qū)制轉(zhuǎn)換Markov switching隨機(jī)波動率模型、序列蒙特卡羅SMC、M H采樣分析時間序列R語言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
R語言BUGS序列蒙特卡羅SMC、馬爾可夫轉(zhuǎn)換隨機(jī)波動率SV模型、粒子濾波、Metropolis Hasting采樣時間序列分析
R語言Metropolis Hastings采樣和貝葉斯泊松回歸Poisson模型
R語言貝葉斯MCMC：用rstan建立線性回歸模型分析汽車數(shù)據(jù)和可視化診斷
R語言貝葉斯MCMC：GLM邏輯回歸、Rstan線性回歸、Metropolis Hastings與Gibbs采樣算法實例
R語言貝葉斯Poisson泊松-正態(tài)分布模型分析職業(yè)足球比賽進(jìn)球數(shù)
R語言用Rcpp加速M(fèi)etropolis-Hastings抽樣估計貝葉斯邏輯回歸模型的參數(shù)
R語言邏輯回歸、Naive Bayes貝葉斯、決策樹、隨機(jī)森林算法預(yù)測心臟病
R語言中貝葉斯網(wǎng)絡(luò)（BN）、動態(tài)貝葉斯網(wǎng)絡(luò)、線性模型分析錯頜畸形數(shù)據(jù)
R語言中的block Gibbs吉布斯采樣貝葉斯多元線性回歸
Python貝葉斯回歸分析住房負(fù)擔(dān)能力數(shù)據(jù)集
R語言實現(xiàn)貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析
Python用PyMC3實現(xiàn)貝葉斯線性回歸模型
R語言用WinBUGS 軟件對學(xué)術(shù)能力測驗建立層次（分層）貝葉斯模型
R語言Gibbs抽樣的貝葉斯簡單線性回歸仿真分析
R語言和STAN,JAGS：用RSTAN,RJAG建立貝葉斯多元線性回歸預(yù)測選舉數(shù)據(jù)
R語言基于copula的貝葉斯分層混合模型的診斷準(zhǔn)確性研究
R語言貝葉斯線性回歸和多元線性回歸構(gòu)建工資預(yù)測模型
R語言貝葉斯推斷與MCMC：實現(xiàn)Metropolis-Hastings 采樣算法示例
R語言stan進(jìn)行基于貝葉斯推斷的回歸模型
R語言中RStan貝葉斯層次模型分析示例
R語言使用Metropolis-Hastings采樣算法自適應(yīng)貝葉斯估計與可視化
R語言隨機(jī)搜索變量選擇SSVS估計貝葉斯向量自回歸（BVAR）模型
WinBUGS對多元隨機(jī)波動率模型：貝葉斯估計與模型比較
R語言實現(xiàn)MCMC中的Metropolis–Hastings算法與吉布斯采樣
R語言貝葉斯推斷與MCMC：實現(xiàn)Metropolis-Hastings 采樣算法示例
R語言使用Metropolis-Hastings采樣算法自適應(yīng)貝葉斯估計與可視化
視頻：R語言中的Stan概率編程MCMC采樣的貝葉斯模型
R語言MCMC:Metropolis-Hastings采樣用于回歸的貝葉斯估計R語言邏輯回歸、Naive Bayes貝葉斯、決策樹、隨機(jī)森林算法預(yù)測心臟病
R語言邏輯回歸(Logistic Regression)、回歸決策樹、隨機(jī)森林信用卡違約分析信貸數(shù)據(jù)集PYTHON用戶流失數(shù)據(jù)挖掘：建立邏輯回歸、XGBOOST、隨機(jī)森林、決策樹、支持向量機(jī)、樸素貝葉斯和KMEANS聚類用戶畫像
Python對商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷售量時間序列建模預(yù)測分析
PYTHON集成機(jī)器學(xué)習(xí)：用ADABOOST、決策樹、邏輯回歸集成模型分類和回歸和網(wǎng)格搜索超參數(shù)優(yōu)化
R語言集成模型：提升樹boosting、隨機(jī)森林、約束最小二乘法加權(quán)平均模型融合分析時間序列數(shù)據(jù)
Python對商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷售量時間序列建模預(yù)測分析
R語言用主成分PCA、?邏輯回歸、決策樹、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化
R語言基于樹的方法：決策樹，隨機(jī)森林，Bagging，增強(qiáng)樹
R語言用邏輯回歸、決策樹和隨機(jī)森林對信貸數(shù)據(jù)集進(jìn)行分類預(yù)測
spss modeler用決策樹神經(jīng)網(wǎng)絡(luò)預(yù)測ST的股票
R語言中使用線性模型、回歸決策樹自動組合特征因子水平
R語言中自編基尼系數(shù)的CART回歸決策樹的實現(xiàn)
R語言用rle，svm和rpart決策樹進(jìn)行時間序列預(yù)測
python在Scikit-learn中用決策樹和隨機(jī)森林預(yù)測NBA獲勝者
python中使用scikit-learn和pandas決策樹進(jìn)行iris鳶尾花數(shù)據(jù)分類建模和交叉驗證
R語言里的非線性模型：多項式回歸、局部樣條、平滑樣條、 廣義相加模型GAM分析
R語言用標(biāo)準(zhǔn)最小二乘OLS，廣義相加模型GAM?，樣條函數(shù)進(jìn)行邏輯回歸LOGISTIC分類
R語言ISLR工資數(shù)據(jù)進(jìn)行多項式回歸和樣條回歸分析
R語言中的多項式回歸、局部回歸、核平滑和平滑樣條回歸模型
R語言用泊松Poisson回歸、GAM樣條曲線模型預(yù)測騎自行車者的數(shù)量
R語言分位數(shù)回歸、GAM樣條曲線、指數(shù)平滑和SARIMA對電力負(fù)荷時間序列預(yù)測R語言樣條曲線、決策樹、Adaboost、梯度提升(GBM)算法進(jìn)行回歸、分類和動態(tài)可視化
如何用R語言在機(jī)器學(xué)習(xí)中建立集成模型？
R語言ARMA-EGARCH模型、集成預(yù)測算法對SPX實際波動率進(jìn)行預(yù)測在python 深度學(xué)習(xí)Keras中計算神經(jīng)網(wǎng)絡(luò)集成模型R語言ARIMA集成模型預(yù)測時間序列分析R語言基于Bagging分類的邏輯回歸(Logistic Regression)、決策樹、森林分析心臟病患者
R語言基于樹的方法：決策樹，隨機(jī)森林，Bagging，增強(qiáng)樹
R語言基于Bootstrap的線性回歸預(yù)測置信區(qū)間估計方法
R語言使用bootstrap和增量法計算廣義線性模型（GLM）預(yù)測置信區(qū)間
R語言樣條曲線、決策樹、Adaboost、梯度提升(GBM)算法進(jìn)行回歸、分類和動態(tài)可視化
Python對商店數(shù)據(jù)進(jìn)行l(wèi)stm和xgboost銷售量時間序列建模預(yù)測分析
R語言隨機(jī)森林RandomForest、邏輯回歸Logisitc預(yù)測心臟病數(shù)據(jù)和可視化分析
R語言用主成分PCA、?邏輯回歸、決策樹、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化
Matlab建立SVM，KNN和樸素貝葉斯模型分類繪制ROC曲線
matlab使用分位數(shù)隨機(jī)森林（QRF）回歸樹檢測異常值