前言

今天我們繼續(xù)啃信息論之父香農(nóng)發(fā)布的論文A Mathematical Theory of Communication(通信中的數(shù)學(xué)理論)

離散信道

接著上一篇筆記, 離散信道的容量C的定義如下:

N(T)表示時(shí)間為T的信號(hào)數(shù)目

如果出現(xiàn)信號(hào) S1,...,Sn? 的所有序列，這些符號(hào)的持續(xù)時(shí)間為 t1, ...,tn 。那么如何計(jì)算信道容量?

首先當(dāng)然是計(jì)算S1,...,Sn? 的所有序列數(shù)的和, 也就是N(t)

N(t) is then asymptotic for large t to Xt0 where X0 is the largest real solution of the characteristic equation, 這里奇妙地給出了一個(gè)特征方程, 大佬并沒(méi)有給出證明。。。于是最大的N(t) -> Xt0， 我們可以解出該方程最大實(shí)數(shù)解X0:

至于這是怎么推導(dǎo)的呢? 首先我們要知道差分方程的特征方程的求法規(guī)律:

假設(shè)我們存在一個(gè)差分方程Y(x + 1) - aY(x) = 0

假設(shè)`Y(0)`已知, 我們?nèi)绾谓膺@個(gè)方程呢? 下面給出過(guò)程:

Y(1) = aY(0)

Y(2) = a*a*Y(0)

Y(3) = a*a*a*Y(0)

...

Y(X) = a ^x * Y(0)

令Y(0) = C

于是差分方程的通解為Y(X) = C*a^x

因此差分方程的解是一種指數(shù)形式， 于是我們就可以得出上式了:

因此根據(jù)離散信道的容量C的定義可化簡(jiǎn)為:

離散信源

在電報(bào)通信中，要傳送的消息由字符序列組成。而這些字符序列中的字符出現(xiàn)的頻率是不一樣的, 就像E的出現(xiàn)頻率要高于Q。我們就可以通過(guò)一些特殊方法進(jìn)行處理來(lái)節(jié)省通信容量和時(shí)間。

何為離散? 就是一堆不連續(xù)的變量，在我看來(lái)更像是一種隨機(jī)過(guò)程，正如香農(nóng)所說(shuō):

Conversely, any stochastic process which produces a discrete sequence of symbols chosen from a finite set may be considered a discrete source.

離散符號(hào)序列是從有限集合中選出的隨機(jī)變量, 就是離散信源.

接下來(lái)香農(nóng)開始給我們展示了幾種案例的馬爾科夫過(guò)程, 這里就不記錄啦!

信息熵的定義

因此, 由于離散信源是隨機(jī)的過(guò)程, 我們能不能定義一個(gè)量，度量這樣一個(gè)過(guò)程“生成”多少信息？甚至度量它以什么樣的速率生成信息？

于是就定義了信息熵H(p1, p2, ..., pN), 并能夠滿足一下三條假定:

* H 關(guān)于 Pi 連續(xù)

* 如果所有Pi相等, 則Pi = 1 / n

* 如果一項(xiàng)選擇被分解為兩個(gè)連續(xù)選擇，則原來(lái)的 H 應(yīng)當(dāng)是各個(gè) H 值的加權(quán)和:

以下一圖直觀地表示了這一等價(jià)關(guān)系:

那么

滿足以上假定的H就可以這樣定義:

假設(shè)存在隨機(jī)變量X, 我們將H(X)記為它的熵.

定義了信息熵后一切都是概率論的內(nèi)容了，先學(xué)學(xué)概率論再來(lái)更新吧! 不得不感嘆香農(nóng)的離散數(shù)學(xué)是真的強(qiáng)!

最后附上該論文的地址: https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf