全文鏈接：http://tecdat.cn/?p=11617

在這篇文章中，我將對(duì)多元線性回歸使用block的Gibbs采樣，得出block的Gibbs采樣所需的條件后驗(yàn)分布。然后，對(duì)采樣器進(jìn)行編碼，并使用模擬數(shù)據(jù)對(duì)其進(jìn)行測(cè)試?（?點(diǎn)擊文末“閱讀原文”獲取完整代碼數(shù)據(jù)?）。

?貝葉斯模型

假設(shè)我們有一個(gè)樣本量的主題。貝葉斯多元回歸假設(shè)該向量是從多元正態(tài)分布中提取的 ，通過(guò)使用恒等矩陣，我們假設(shè)獨(dú)立的觀察結(jié)果。

到目前為止，這與多元正態(tài)回歸相同。則將概率最大化可得出以下解 ：

貝葉斯模型是通過(guò)指定為一個(gè)先驗(yàn)分布得到 。在此示例中，我將在以下情況下使用 先驗(yàn)值?

block Gibbs

在對(duì)采樣器進(jìn)行編碼之前，我們需要導(dǎo)出Gibbs采樣器的 每個(gè)參數(shù)的后驗(yàn)條件分布。

條件后驗(yàn)取更多的線性代數(shù)。

這是一個(gè)非常漂亮和直觀的結(jié)果。條件后驗(yàn)的協(xié)方差矩陣是協(xié)方差矩陣的估計(jì)，

還要注意，條件后驗(yàn)是一個(gè)多元分布。因此，在Gibbs采樣器的每次迭代中，我們從后驗(yàn)繪制出一個(gè)完整的矢量?。

模擬

我模擬的 結(jié)果向量

。?

運(yùn)行 Gibbs采樣器 會(huì)生成對(duì)真實(shí)系數(shù)和方差參數(shù)的估計(jì)。運(yùn)行了500,000次迭代。周期為100,000次，10次迭代。

以下是MCMC鏈的圖，其中真實(shí)值用紅線表示。

#?計(jì)算后驗(yàn)摘要統(tǒng)計(jì)信息post_dist?%>% ??group_by(para)?%>% ??summarise(median=median(draw), ????????????lwr=quantile(.025), ????????????upr=quantile(.975))?%>% ?#?合并匯總統(tǒng)計(jì)信息post_dist?<-?post_dist?%>% ??left_join(post_sum_stats,?by='param') ?#?繪制MCMC鏈ggplot(post_dist,aes(x=iter,y=dra))?+ ??geom_line()?+ ??geom_hline(aes(yintercept=true_vals))

這是修整后參數(shù)的后驗(yàn)分布：

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

Python用MCMC馬爾科夫鏈蒙特卡洛、拒絕抽樣和Metropolis-Hastings采樣算法

左右滑動(dòng)查看更多

01

02

03

04

ggplot(post_dist,aes(x=draw))?+ ??geom_histogram(aes(x=draw),bins=50)?+ ??geom_vline(aes(xintercept?=?true_vals))

似乎能夠獲得這些參數(shù)的合理后驗(yàn)估計(jì)。為了確保貝葉斯估計(jì)器正常工作，我對(duì)1,000個(gè)模擬數(shù)據(jù)集重復(fù)了此過(guò)程。

這將產(chǎn)生1,000組后驗(yàn)均值和1,000組95％置信區(qū)間。平均而言，這1000個(gè)后驗(yàn)均值應(yīng)以真實(shí)值為中心。平均而言，真實(shí)參數(shù)值應(yīng)在95％的時(shí)間的置信區(qū)間內(nèi)。

以下是這些評(píng)估的摘要。

“估計(jì)平均值”列是所有1,000個(gè)模擬中的平均后驗(yàn)平均值。偏差百分比均小于5％。對(duì)于所有參數(shù)，95％CI的覆蓋率約為95％。

擴(kuò)展?

我們可以對(duì)該模型進(jìn)行許多擴(kuò)展。例如，可以使用除正態(tài)分布外的其他分布來(lái)擬合不同類型的結(jié)果。?例如，如果我們有二元數(shù)據(jù)，則可以將其建模為：

然后在上放一個(gè)先驗(yàn)分布。這個(gè)想法將貝葉斯線性回歸推廣到貝葉斯GLM。

在本文中概述的線性情況下，可以更靈活地對(duì)協(xié)方差矩陣建模。相反，假設(shè)協(xié)方差矩陣是對(duì)角線且具有單個(gè)公共方差。這是多元線性回歸中的同方差假設(shè)。如果數(shù)據(jù)是分類的（例如，每個(gè)受試者有多個(gè)觀察結(jié)果），我們可以使用反Wishart分布來(lái)建模整個(gè)協(xié)方差矩陣。

點(diǎn)擊文末?“閱讀原文”

獲取全文完整資料。

本文選自《R語(yǔ)言中的block Gibbs吉布斯采樣貝葉斯多元線性回歸》。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

Python用MCMC馬爾科夫鏈蒙特卡洛、拒絕抽樣和Metropolis-Hastings采樣算法
R語(yǔ)言貝葉斯METROPOLIS-HASTINGS GIBBS 吉布斯采樣器估計(jì)變點(diǎn)指數(shù)分布分析泊松過(guò)程車站等待時(shí)間
R語(yǔ)言馬爾可夫MCMC中的METROPOLIS HASTINGS，MH算法抽樣（采樣）法可視化實(shí)例
python貝葉斯隨機(jī)過(guò)程：馬爾可夫鏈Markov-Chain，MC和Metropolis-Hastings，MH采樣算法可視化
Python貝葉斯推斷Metropolis-Hastings（M-H）MCMC采樣算法的實(shí)現(xiàn)
Metropolis Hastings采樣和貝葉斯泊松回歸Poisson模型
Matlab用BUGS馬爾可夫區(qū)制轉(zhuǎn)換Markov switching隨機(jī)波動(dòng)率模型、序列蒙特卡羅SMC、M H采樣分析時(shí)間序列R語(yǔ)言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
R語(yǔ)言BUGS序列蒙特卡羅SMC、馬爾可夫轉(zhuǎn)換隨機(jī)波動(dòng)率SV模型、粒子濾波、Metropolis Hasting采樣時(shí)間序列分析
R語(yǔ)言Metropolis Hastings采樣和貝葉斯泊松回歸Poisson模型
R語(yǔ)言貝葉斯MCMC：用rstan建立線性回歸模型分析汽車數(shù)據(jù)和可視化診斷
R語(yǔ)言貝葉斯MCMC：GLM邏輯回歸、Rstan線性回歸、Metropolis Hastings與Gibbs采樣算法實(shí)例
R語(yǔ)言貝葉斯Poisson泊松-正態(tài)分布模型分析職業(yè)足球比賽進(jìn)球數(shù)
R語(yǔ)言用Rcpp加速M(fèi)etropolis-Hastings抽樣估計(jì)貝葉斯邏輯回歸模型的參數(shù)
R語(yǔ)言邏輯回歸、Naive Bayes貝葉斯、決策樹、隨機(jī)森林算法預(yù)測(cè)心臟病
R語(yǔ)言中貝葉斯網(wǎng)絡(luò)（BN）、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)、線性模型分析錯(cuò)頜畸形數(shù)據(jù)
R語(yǔ)言中的block Gibbs吉布斯采樣貝葉斯多元線性回歸
Python貝葉斯回歸分析住房負(fù)擔(dān)能力數(shù)據(jù)集
R語(yǔ)言實(shí)現(xiàn)貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析
Python用PyMC3實(shí)現(xiàn)貝葉斯線性回歸模型
R語(yǔ)言用WinBUGS 軟件對(duì)學(xué)術(shù)能力測(cè)驗(yàn)建立層次（分層）貝葉斯模型
R語(yǔ)言Gibbs抽樣的貝葉斯簡(jiǎn)單線性回歸仿真分析
R語(yǔ)言和STAN,JAGS：用RSTAN,RJAG建立貝葉斯多元線性回歸預(yù)測(cè)選舉數(shù)據(jù)
R語(yǔ)言基于copula的貝葉斯分層混合模型的診斷準(zhǔn)確性研究
R語(yǔ)言貝葉斯線性回歸和多元線性回歸構(gòu)建工資預(yù)測(cè)模型
R語(yǔ)言貝葉斯推斷與MCMC：實(shí)現(xiàn)Metropolis-Hastings 采樣算法示例
R語(yǔ)言stan進(jìn)行基于貝葉斯推斷的回歸模型
R語(yǔ)言中RStan貝葉斯層次模型分析示例
R語(yǔ)言使用Metropolis-Hastings采樣算法自適應(yīng)貝葉斯估計(jì)與可視化
R語(yǔ)言隨機(jī)搜索變量選擇SSVS估計(jì)貝葉斯向量自回歸（BVAR）模型
WinBUGS對(duì)多元隨機(jī)波動(dòng)率模型：貝葉斯估計(jì)與模型比較
R語(yǔ)言實(shí)現(xiàn)MCMC中的Metropolis–Hastings算法與吉布斯采樣
R語(yǔ)言貝葉斯推斷與MCMC：實(shí)現(xiàn)Metropolis-Hastings 采樣算法示例
R語(yǔ)言使用Metropolis-Hastings采樣算法自適應(yīng)貝葉斯估計(jì)與可視化
視頻：R語(yǔ)言中的Stan概率編程MCMC采樣的貝葉斯模型
R語(yǔ)言MCMC:Metropolis-Hastings采樣用于回歸的貝葉斯估計(jì)