這系列文章是cmu的Stochastic Processes (Advanced Probability II), 36-754講義的筆記。內(nèi)容包括：隨機(jī)過(guò)程綜述，單參數(shù)過(guò)程綜述，Markov過(guò)程，擴(kuò)散過(guò)程與隨機(jī)分析，遍歷理論，信息論，大偏差。主要是想復(fù)習(xí)一下概率論、隨機(jī)過(guò)程和隨機(jī)分析的內(nèi)容，再補(bǔ)充一些特別的專題比如無(wú)窮小生成元，隨機(jī)時(shí)間，KL散度，大偏差等。預(yù)計(jì)在寒假內(nèi)能讀完大部分，開(kāi)學(xué)后讀掉剩下的部分。

化學(xué)反應(yīng)的數(shù)學(xué)理論第四篇是最重要的隨機(jī)模型部分，在完成那篇之前我會(huì)先把概率論復(fù)習(xí)筆記更掉一些。

這篇文章要說(shuō)的問(wèn)題是最基本的問(wèn)題：什么是隨機(jī)過(guò)程？對(duì)這個(gè)問(wèn)題有兩種答案：可以把隨機(jī)過(guò)程理解為一系列（帶有index的）隨機(jī)變量（這也是初級(jí)隨機(jī)過(guò)程課的定義）；也可以理解為一個(gè)樣本軌道屬于比較好的函數(shù)類里面的隨機(jī)函數(shù)。

概率空間與隨機(jī)變量

我比較喜歡畫(huà)這樣一張圖來(lái)說(shuō)明這兩個(gè)基本概念。

我們從上帝視角看北京天氣（簡(jiǎn)化成北京處于一個(gè)良定義的密閉空間內(nèi)），北京的N個(gè)大氣分子的相空間（6N維）就是我們的概率空間，上面有一個(gè)概率測(cè)度（這里不涉及frequentist還是Bayesianist的區(qū)分，只是假設(shè)上帝按照這個(gè)測(cè)度決定北京每天的天氣）。這個(gè)概率空間包含了概率模型所有的信息，但是如果我們只關(guān)注溫度，溫度就是一個(gè)隨機(jī)變量，它把相空間中的一個(gè)點(diǎn)映射到實(shí)軸上表示對(duì)應(yīng)的溫度。這個(gè)函數(shù)誘導(dǎo)出實(shí)軸上的測(cè)度，就是溫度的分布。如果要研究氣壓，那就選擇另一個(gè)隨機(jī)變量。如果要研究五四上風(fēng)速多大，那就再選擇另一個(gè)隨機(jī)變量。這樣把問(wèn)題簡(jiǎn)化到實(shí)數(shù)軸上的概率分布，就不用抽象地去考察完整的相空間（實(shí)際上除了上帝也沒(méi)人知道今天的天氣再相空間的哪個(gè)點(diǎn)上）。研究數(shù)字（實(shí)數(shù)）我們就熟悉了，分布函數(shù)、密度函數(shù)、特征函數(shù)之類的就都出來(lái)了。

所以我們可以這么想：抽象的概率空間包含了概率模型的所有信息，而隨機(jī)變量則是為了把它（的一部分信息）induce到實(shí)軸上的概率測(cè)度來(lái)方便分析。

隨機(jī)過(guò)程是一系列隨機(jī)變量

在這種定義下，隨機(jī)過(guò)程被視作：

也就是說(shuō)，隨機(jī)過(guò)程是隨機(jī)向量的推廣。隨機(jī)向量的index是1,2,3,...,n，而隨機(jī)過(guò)程的index可以是任何一個(gè)集合T。

取T={1}，隨機(jī)過(guò)程就變成隨機(jī)變量。

取T={1,2,...,n}，隨機(jī)過(guò)程就變成隨機(jī)向量。

取T={1,2,3,...}，就是我們最經(jīng)常研究的離散的Markov鏈或者鞅（one-sided random sequence）。同理可以有two-sided random sequences。

這個(gè)T不一定要理解成時(shí)間。比如T=Z^d可以看成空間上的離散隨機(jī)場(chǎng)，也就是Ising模型和滲流的研究對(duì)象。雖然“隨機(jī)過(guò)程”這個(gè)名字帶有時(shí)間的意味，但是空間的“過(guò)程”也是可以的。

隨機(jī)過(guò)程是隨機(jī)函數(shù)

把隨機(jī)過(guò)程看成隨機(jī)函數(shù)的好處是，這樣顯得更tidy，一個(gè)隨機(jī)過(guò)程就是一個(gè)single object，而不是一大串collection。在上面那張圖中，random element的像不再是一個(gè)數(shù)，而是一個(gè)函數(shù)?；蛘呶覀兏纱嘞胂笊厦娴幕疑臻g就是一個(gè)函數(shù)空間。在定義之前，我們當(dāng)然需要一個(gè)函數(shù)空間以及上面的sigma代數(shù)。

首先函數(shù)空間是什么呢？很自然可以取

(后面會(huì)看到可能還需要一些restriction)。那么sigma代數(shù)怎么辦？首先定義cylinder set。

這個(gè)定義從歐氏幾何來(lái)看是很直觀的，就是柱體。有了cylinder set的概念就可以定義sigma代數(shù)，這個(gè)函數(shù)空間上的sigma代數(shù)是每個(gè)單獨(dú)的隨機(jī)變量的sigma代數(shù)的積：

很直觀，這個(gè)函數(shù)空間里有各種函數(shù)f(x)，按照{(diào)f(x_0)\in B}生成的sigma代數(shù)就是函數(shù)空間的sigma代數(shù)。這個(gè)時(shí)候隨機(jī)過(guò)程就是一個(gè)單獨(dú)的對(duì)象了，記為X，而不用X_t。如果想要拿出X這個(gè)隨機(jī)函數(shù)在某一點(diǎn)的值（一個(gè)隨機(jī)變量），則用投影算子：

有了隨機(jī)函數(shù)的定義，就可以有隨機(jī)測(cè)度（測(cè)度無(wú)非是滿足測(cè)度定義的集合函數(shù)）。假如X是一個(gè)隨機(jī)測(cè)度，對(duì)于任何有界Borel集，X(B)都是（有限）整數(shù)，則稱X是一個(gè)點(diǎn)過(guò)程。如果進(jìn)一步，X({a})是0或者1（即每個(gè)點(diǎn)上測(cè)度為0或1），則稱這是一個(gè)簡(jiǎn)單點(diǎn)過(guò)程。Poisson過(guò)程就是一個(gè)簡(jiǎn)單點(diǎn)過(guò)程。這個(gè)角度的Poisson過(guò)程不一定是時(shí)間上的，還可以是空間上的。比如在R^d上，強(qiáng)度為lambda(x)的（inhomogeneous）Poisson點(diǎn)過(guò)程就是這樣一個(gè)簡(jiǎn)單點(diǎn)過(guò)程，它滿足X(B)的分布為Poisson(\int_B \lambda(x)dx)。