[All of Statistics]模型，統(tǒng)計(jì)推斷和學(xué)習(xí)(1)

2023-03-09 11:58 作者:j2kevin18 0人讀過(guò) | 我要投稿

6.1 introduction

統(tǒng)計(jì)推斷，或在計(jì)算機(jī)科學(xué)中被稱(chēng)為“學(xué)習(xí)”，是指使用數(shù)據(jù)來(lái)推斷產(chǎn)生數(shù)據(jù)的分布的過(guò)程。一個(gè)典型的統(tǒng)計(jì)推斷問(wèn)題是：

$%5Ctextbf%7B%E7%BB%99%E5%AE%9A%E4%B8%80%E4%B8%AA%E6%A0%B7%E6%9C%AC%7DX_1%2C%20X_2%2C...X_n%20%5Ctextbf%7B~%7D%20F%2C%20%5Ctextbf%7B%E6%88%91%E4%BB%AC%E5%A6%82%E4%BD%95%E6%8E%A8%E6%96%AD%7D%20F%3F$

在某些情況下，我們可能只想推斷出F的一些特征，比如它的平均值。

6.2?Parametric and Nonparametric Models

統(tǒng)計(jì)模型F是一組分布（或密度或回歸函數(shù)）。參數(shù)模型 $%5Cmathfrak%7BF%7D$ 是一個(gè)可以由有限數(shù)量的參數(shù)參數(shù)化的集合F。例如，如果我們假設(shè)數(shù)據(jù)來(lái)自于一個(gè)正態(tài)分布，那么這個(gè)模型（6.1）是

$%5Cmathfrak%7BF%7D%3D%5Cleft%5C%7Bf(x%20%3B%20%5Cmu%2C%20%5Csigma)%3D%5Cfrac%7B1%7D%7B%5Csigma%20%5Csqrt%7B2%20%5Cpi%7D%7D%20%5Cexp%20%5Cleft%5C%7B-%5Cfrac%7B1%7D%7B2%20%5Csigma%5E%7B2%7D%7D(x-%5Cmu)%5E%7B2%7D%5Cright%5C%7D%2C%20%5Cquad%20%5Cmu%20%5Cin%20%5Cmathbb%7BR%7D%2C%20%5Csigma%3E0%5Cright%5C%7D$

這是一個(gè)雙參數(shù)模型。我們把密度寫(xiě)成 $f(x%3B%5Cmu%20%2C%CF%83)$ 來(lái)表明x是隨機(jī)變量的一個(gè)值，而μ和σ是參數(shù)。一般來(lái)說(shuō)，參數(shù)模型的形式（6.2）是

$%5Cmathfrak%7BF%7D%3D%5C%7Bf(x%20%3B%20%5Ctheta)%3A%20%5Ctheta%20%5Cin%20%5CTheta%5C%7D$

，其中θ是一個(gè)未知的參數(shù)（或參數(shù)向量），可以在參數(shù)空間Θ中取值。如果θ是一個(gè)向量，但我們只對(duì)θ的一個(gè)組件感興趣，所以我們稱(chēng)剩余的參數(shù)為“討厭的參數(shù)”（nuisance parameters）。非參數(shù)模型是一個(gè)不能以有限數(shù)量的參數(shù)來(lái)參數(shù)化的集合F。例如， $%5Cmathfrak%7BF%7D_%7B%5Cmathrm%7BALL%7D%7D%3D%5Cleft%5C%7B%5Ctext%20%7B%20all%20%7D%20%5Cmathrm%7BCDF%7D%5E%7B%5Cprime%7D%20s%5Cright%5C%7D$ 就是非參數(shù)的。

6.1實(shí)例（一維參數(shù)估計(jì)）：設(shè) $X_1%2C%20X_2%2C...X_n$ 是獨(dú)立的伯努利分布Bernoulli(p)的觀測(cè)值。問(wèn)題是估計(jì)參數(shù)p。

6.2實(shí)例（二維參數(shù)估計(jì)）：假設(shè) $X_1%2C%20X_2%2C...X_n%20%5Ctextbf%7B~%7D%20F$ ，我們假設(shè) $%5Coperatorname%7BPDF%7D%20f%20%5Cin%20%5Cmathfrak%7BF%7D$ ， $%5Cmathfrak%7BF%7D$ 在（6.1）中已給出。在本例中，有兩個(gè)參數(shù)，μ和σ。其目標(biāo)是從數(shù)據(jù)中估計(jì)參數(shù)。如果我們只對(duì)估計(jì)μ感興趣，那么μ是感興趣的參數(shù)，而σ是一個(gè)討厭的參數(shù)。

6.3實(shí)例（cdf的非參數(shù)估計(jì)）:?設(shè) $X_1%2C%20X_2%2C...X_n$ 是來(lái)自 $%5Coperatorname%7BCDF%7D%20f%20$ 的獨(dú)立觀測(cè)值。問(wèn)題是估計(jì)F只假設(shè) $F%5Cin%5Cmathfrak%7BF%7D_%7B%5Cmathrm%7BALL%7D%7D%3D%5Cleft%5C%7B%5Ctext%20%7B%20all%20%7D%20%5Cmathrm%7BCDF%7D%5E%7B%5Cprime%7D%20s%5Cright%5C%7D$ 。

6.4實(shí)例（pdf的非參數(shù)估計(jì)）：設(shè) $X_1%2C%20X_2%2C...X_n$ 是來(lái)自 $%5Coperatorname%7BPDF%7D%20f%20$ 的獨(dú)立觀測(cè)結(jié)果，設(shè) $f%3DF%5E%7B%5Cprime%7D$ 為pdf。假設(shè)我們想估計(jì) $%5Coperatorname%7BPDF%7D%20f%20$ 。僅假設(shè) $F%5Cin%5Cmathfrak%7BF%7D_%7B%5Cmathrm%7BALL%7D%7D%3D%5Cleft%5C%7B%5Ctext%20%7B%20all%20%7D%20%5Cmathrm%7BCDF%7D%5E%7B%5Cprime%7D%20s%5Cright%5C%7D$ 是不可能估計(jì)F的。我們需要假設(shè)f有一些平滑性。例如，我們可以假設(shè)

$f%20%5Cin%20%5Cmathfrak%7BF%7D%3D%5Cmathfrak%7BF%7D_%7B%5Ctext%20%7BDENS%20%7D%7D%20%5Cbigcap%20%5Cmathfrak%7BF%7D_%7B%5Ctext%20%7BSOB%20%7D%7D$

其中 $%5Cmathfrak%7BF%7D_%7B%5Ctext%20%7BDENS%20%7D%7D$ 是所有概率的集合而且

$%5Cmathfrak%7BF%7D_%7B%5Cmathrm%7BSOB%7D%7D%3D%5Cleft%5C%7Bf%3A%20%5Cint%5Cleft(f%5E%7B%5Cprime%20%5Cprime%7D(x)%5Cright)%5E%7B2%7D%20d%20x%3C%5Cinfty%5Cright%5C%7D%20.$

$%5Cmathfrak%7BF%7D_%7B%5Cmathrm%7BSOB%7D%7D$ 被稱(chēng)為索伯列夫空間（Sobolev space）；它是一組不“太亂動(dòng)”的函數(shù)。

6.5實(shí)例（泛函的非參數(shù)估計(jì)）：設(shè) $X_1%2C%20X_2%2C...X_n%20%5Ctextbf%7B~%7D%20F$ 。假設(shè)我們想估計(jì) $%5Cmu%20%3D%20E(X_1)%3D%5Cint%20x%20dF%20(x)$ ，只假設(shè)這個(gè)存在平均數(shù)μ。

平均數(shù)μ可以被認(rèn)為是F的一個(gè)函數(shù)：我們可以寫(xiě)出 $%5Cmu%20%3D%20T(F)%3D%5Cint%20x%20dF%20(x)$ 。一般來(lái)說(shuō)，F(xiàn)的任何函數(shù)都被稱(chēng)為統(tǒng)計(jì)函數(shù)。

泛函的其他例子是方差 $T%20(F)%20%3D%5Cint%20x%5E2dF%20(x)%E2%88%92(%5Cint%20xdF%20(x))%5E%202$ 和中位數(shù) $T%20(F)%20%3D%20F%5E%7B%E2%88%921%7D(1%2F2)$ 。

6.6實(shí)例（回歸、預(yù)測(cè)和分類(lèi)）：假設(shè)我們觀察成對(duì)的數(shù)據(jù) $(%20%20X_%20%7B1%7D%20%20%2C%20%20Y_%20%7B1%7D%20)%2C%20%20%5Ccdots%20%20(%20%20X_%20%7Bn%7D%20%2C%20%20Y_%20%7Bn%7D%20)%0A$ 。也許 $X_i$ 是受試者i的血壓， $Y_i$ 是他們的壽命。

X被稱(chēng)為預(yù)測(cè)器、回歸變量、特征或自變量。Y被稱(chēng)為結(jié)果或響應(yīng)變量或因變量。我們稱(chēng) $r(x)%3DE(Y%7CX%3Dx)%0A$ 為回歸函數(shù)。如果我們假設(shè) $r%20%5Cin%20F$ ，其中F是有限維的，例如直線(xiàn)的集合，那么我們就有一個(gè)參數(shù)回歸模型。如果我們假設(shè) $%5Cmu%20%3D%20E(X_1)%3D%5Cint%20x%20dF%20(x)$ ，其中F不是有限維的，那么我們有一個(gè)非參數(shù)回歸模型?；谛禄颊叩腦值來(lái)預(yù)測(cè)Y的目標(biāo)被稱(chēng)為預(yù)測(cè)。如果Y是離散的（例如，活的或死的），那么預(yù)測(cè)就被稱(chēng)為分類(lèi)。如果我們的目標(biāo)是估計(jì)函數(shù)r，那么我們稱(chēng)之為回歸或曲線(xiàn)估計(jì)。回歸模型（6.3）有時(shí)會(huì)被寫(xiě)成

$Y%3Dr(X)%2B%5Cepsilon%20$

這里 $%5Cmathbb%7BE%7D(%5Cepsilon%20)%20%3D%200$ 。我們總是可以這樣重寫(xiě)一個(gè)回歸模型。要看到這一點(diǎn)，定義 $%5Cepsilon%20%3DY-r(X)$ ，因此 $Y%20%3DY%2Br(X)-r(X)%20%3Dr(X)%2B%5Cepsilon%20$ 。

除此以外， $%5Cmathbb%7BE%7D(%5Cepsilon)%3D%5Cmathbb%7BEE%7D(%20%5Cepsilon%20%7CX)%3D%5Cmathbb%7BE%7D(%5Cmathbb%7BE%7D(Y-r(X))%7CX)%3D%5Cmathbb%7BE%7D(%5Cmathbb%7BE%7D(Y%7CX)-r(X))%3D%5Cmathbb%7BE%7D(r(X)-r(X))%3D0$

下一步是什么？在大多數(shù)介紹性課程中，從參數(shù)推理開(kāi)始。相反，我們將從非參數(shù)推理開(kāi)始，然后我們將涵蓋參數(shù)推理。在某些方面，非參數(shù)推理比參數(shù)推理更容易理解，也更有用。

頻率和貝葉斯。統(tǒng)計(jì)推斷有許多方法，這兩種主要的方法被稱(chēng)為頻率推理和貝葉斯推理。我們將涵蓋這兩者，但將從頻率推斷開(kāi)始，會(huì)推遲討論這兩者的利弊。

一些符號(hào)。如果 $%5Cmathfrak%7BF%7D%3D%5C%7Bf(x%20%3B%20%5Ctheta)%3A%20%5Ctheta%20%5Cin%20%5CTheta%5C%7D$ 是一個(gè)參數(shù)模型，我們寫(xiě) $P_%CE%B8(X%20%5Cin%20A)%3D%5Cint_%7BA%7D%20f(x%3B%CE%B8)dx$ 和 $%5Cmathbb%7BE%7D_%CE%B8(r(X))%3D%5Cint%20r(x)f(x%3B%CE%B8)dx$ 。下標(biāo)θ表示是相對(duì)于 $T(F)%20%3D%20%5Cint%20x%5E2%20dF(x)%20%E2%88%92%20(%5Cint%20%20xdF(x)%0A)%5E%202$ 的概率或期望，但這并不意味著我們正在對(duì)θ進(jìn)行平均。類(lèi)似地，我們?yōu)榉讲顚?xiě)了 $%5Cmathbb%7BV%7D_%7B%5Ctheta%7D$ 。