本文非技術(shù)性的介紹貝葉斯統(tǒng)計(jì)。貝葉斯統(tǒng)計(jì)方法變得越來越受歡迎，在Stata中，您可以使用bayesmh命令擬合貝葉斯模型。這篇文章簡單的介紹下貝葉斯統(tǒng)計(jì)的概念和術(shù)語，以及bayesmh語法。
通過實(shí)例介紹貝葉斯統(tǒng)計(jì)
我們中的大多數(shù)人都學(xué)習(xí)過概率統(tǒng)計(jì)法，雖然不知道具體數(shù)量，但是參數(shù)會(huì)被看作是固定的。我們可以通過一個(gè)人口的樣本來估計(jì)參數(shù)，但是不同的樣本會(huì)有不同的估計(jì)。這些不同估計(jì)的分布被稱為抽樣分布，它量化了我們估計(jì)的不穩(wěn)定性。但是參數(shù)本身仍然被認(rèn)為是固定的。
貝葉斯統(tǒng)計(jì)方法是一種不同的統(tǒng)計(jì)思維方式。參數(shù)被視為隨機(jī)變量，可以用概率分布來描述。我們甚至不需要數(shù)據(jù)來描述一個(gè)參數(shù)的分布，概率只是我們信任的程度。
讓我們通過一個(gè)硬幣投擲的例子來分析一下我們的直觀感覺。我會(huì)把硬幣的兩面稱為“頭”和“尾”，如果我將硬幣投擲到空中，它落地時(shí)必須是 “頭”或“尾”在上面。我使用θ表示硬幣“頭”在上面的概率。
先驗(yàn)分布
貝葉斯例子的第一步就是定義一個(gè)先驗(yàn)分布θ。先驗(yàn)分布是關(guān)于參數(shù)分布的數(shù)學(xué)表達(dá)式。先驗(yàn)分布可以根據(jù)我們的經(jīng)驗(yàn)或假設(shè)來設(shè)定這個(gè)參數(shù)，甚至是簡單的猜測。我可以用一個(gè)統(tǒng)一的分布來表示我的信念，“頭”在上面的概率為0到1之間任意數(shù)字。圖1表示參數(shù)1和1的Beta分布，相當(dāng)于0到1區(qū)間上均勻分布。
Figure 1: Uninformative Beta(1,1) Prior
Beta(1，1)分布被稱為無信息先驗(yàn)，因?yàn)閰?shù)的所有值都有相等的概率。一般意義來說，“頭”在上面的概率接近0.5，通過增加我的Beta分布，我可以用數(shù)學(xué)的方法表達(dá)這個(gè)信念。圖2表示的是參數(shù)為30和30的Beta分布。
Figure 2: Informative Beta(30,30) Prior
圖2被稱為信息先驗(yàn)，因?yàn)樗械膮?shù)值沒有相等的概率。
似然函數(shù)
第二步就是收集數(shù)據(jù)，并定義一個(gè)似然函數(shù)。再比如，我投擲硬幣10次，有4次是“頭”在上面。然后在Stata中輸入我的結(jié)果，這樣以后我就可以使用這個(gè)數(shù)據(jù)了。
Code block 1: globala.do
接下來，我需要為我的數(shù)據(jù)指定一個(gè)似然函數(shù)。概率分布為給定的參數(shù)值P(y|θ)量化數(shù)據(jù)概率，而似然函數(shù)量化給定數(shù)據(jù)L(θ|y))參數(shù)值的可能性。這兩個(gè)函數(shù)形式相同，表達(dá)式也可以經(jīng)常互換，也就是P(y|θ)=L(θ|y)。
二項(xiàng)概率分布經(jīng)常被用來從固定的實(shí)驗(yàn)數(shù)量中量化成功數(shù)量的概率。在這里，我可以使用二項(xiàng)似然函數(shù)來量化我的實(shí)驗(yàn)結(jié)果，量化10次投擲4次“頭”在上面的θ的可能性。圖3中藍(lán)色的線條表示二項(xiàng)似然函數(shù)θ。我重新調(diào)整似然函數(shù)的圖形，使得曲線下的區(qū)域面積為1. 這可以讓我對似然函數(shù)和紅色線條的先驗(yàn)分布做比較。
Figure 3: The Binomial(4,10,θ) Likelihood Function and the Beta(30,30) Prior Distribution
后驗(yàn)分布
第三步就是計(jì)算后驗(yàn)分布，讓我們根據(jù)參數(shù)實(shí)驗(yàn)結(jié)果整理一下我們的信念。在簡單的情況下，我們可以通過將先驗(yàn)分布和似然函數(shù)相乘來計(jì)算后驗(yàn)分布。從技術(shù)上講，后驗(yàn)
跟先驗(yàn)和似然的乘積是成比例的。
在這個(gè)例子中，對于二項(xiàng)似然函數(shù)，beta分布被稱為“共軛先驗(yàn)”，因?yàn)楹篁?yàn)分布跟先驗(yàn)分布一樣屬于同一分布族。先驗(yàn)分布和后驗(yàn)分布都有beta分布。圖4顯示了θ的后驗(yàn)分布的先驗(yàn)分布和似然函數(shù)。
Figure 4: The Posterior Distribution, the Likelihood Function, and the Prior Distribution
注意后驗(yàn)和先驗(yàn)分布相似，這是因?yàn)槲覀冇昧讼闰?yàn)信息和一個(gè)相對較小的樣本量。
我們探討一下不同的先驗(yàn)信息和樣本大小的后驗(yàn)分析的影響，圖5中紅線表示完全無信息的Beta(1，1)前驗(yàn)，藍(lán)色線條表示的是似然函數(shù)。您看不到藍(lán)色的線條，因?yàn)樗槐硎竞篁?yàn)分析的黑色線條完全覆蓋了。
Figure 5: The Posterior Distribution For a Beta(1,1) Prior Distribution
這是貝葉斯統(tǒng)計(jì)的重要特征：當(dāng)我們使用完全無信息先驗(yàn)時(shí)，后驗(yàn)分布通常等于似然函數(shù)。動(dòng)畫圖1表示更多的先驗(yàn)信息，將對一個(gè)給定樣本的后驗(yàn)分布影響較大。
Animation 1: The effect of more informative prior distributions on the posterior distribution
動(dòng)畫圖2表示樣本數(shù)量越大，對一個(gè)給定先驗(yàn)分布的后驗(yàn)分布，似然函數(shù)影響更大。
Animation 2: The effect of larger sample sizes on the posterior distribution
在實(shí)踐中，這意味著使用較少的樣本量時(shí)，使用更多的先驗(yàn)信息，可以減少后驗(yàn)分布的標(biāo)準(zhǔn)偏差。但是當(dāng)標(biāo)準(zhǔn)偏差減小，我們使用弱或無信息先驗(yàn)時(shí)，可能需要較大的樣本量。計(jì)算完后驗(yàn)分布后，我們可以計(jì)算后驗(yàn)分布的平均值或中位數(shù)，95%的等尾置信區(qū)間，區(qū)間和其他統(tǒng)計(jì)學(xué)中的θ概率。
Bayesmh案例
使用Stata的bayesmh命令來分析投擲硬幣實(shí)驗(yàn)。記得在上面的變量中保存了“頭”在上面的數(shù)據(jù)。Example 1中的bayesmh命令，我用{theta}表示我們的參數(shù)，指定Bernoulli似然函數(shù)，使用無信息先驗(yàn)分布beta(1,1)。
Example 1: Using bayesmh with a Beta(1,1) prior
讓我們專注于系數(shù)表，忽略其他的輸出。這些輸出告訴我們，后驗(yàn)分布平均值為0.41，中位數(shù)也為0.41。后驗(yàn)分布的標(biāo)準(zhǔn)偏差為0.14，95%的置信區(qū)間為[0.16–0.68].我們可以自己喜歡的方式解釋置信區(qū)間: 有95%的可能，θ落在置信區(qū)間內(nèi)。
我們還可以計(jì)算出θ在任意區(qū)間的可能性，比如：我們可以使用bayestest區(qū)間來計(jì)算θ位于0.4到0.6之間的可能性。
Example 2: Using bayestest interval to calculate probabilities
我們的結(jié)果表明，θ位于0.4到0.6之間的可能性為43%。
為什么使用貝葉斯統(tǒng)計(jì)?
貝葉斯統(tǒng)計(jì)法有很多吸引人的特點(diǎn)。最吸引人的特點(diǎn)是以前研究中的后驗(yàn)分布經(jīng)常作為后續(xù)研究的先驗(yàn)分析。比如：我們可能會(huì)進(jìn)行一項(xiàng)小規(guī)模的試驗(yàn)研究，使用無信息先驗(yàn)分布和在試驗(yàn)研究中使用后驗(yàn)分布作為先驗(yàn)分布的主要研究。這個(gè)方法大大提高了主要研究的精確度。
總結(jié)
在這篇文章中，我們重點(diǎn)介紹了貝葉斯統(tǒng)計(jì)的概念和術(shù)語，并用Stata bayesmh命令來學(xué)習(xí)一個(gè)簡單的實(shí)例。在下篇文章中，我們將探討使用Metropolis–Hastings的MCMC算法。
