前言

最近在研究壓縮算法, 不得不來學(xué)習(xí)信息論相關(guān)知識。學(xué)習(xí)信息論要看什么教程好? 當(dāng)然是信息論之父香農(nóng)發(fā)布的論文A Mathematical Theory of Communication(通信中的數(shù)學(xué)理論)啦!

首先聲明一下, 本人英語并不是很好, 當(dāng)中可能有理解錯誤的地方，希望大佬們指出!

步入正題: 如何處理不確定性?

正如論文標(biāo)題: 什么是通信?

香農(nóng)大佬給出了定義:

The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.

實(shí)現(xiàn)通信最基本的問題就是在一個地方出現(xiàn)另一個地方的信息, 通信的信息都有特定的含義, 于是香農(nóng)就拋出了問題:

The system must be designed to operate for each

possible selection, not just the one which will actually be chosen since this is unknown at the time of design.

以我的理解，大概意思是通信系統(tǒng)應(yīng)該能處理不同情況的信息, 而不僅僅是特定的信息, 因?yàn)樵趯?shí)際情況下, 在實(shí)際通信系統(tǒng)時我們不知道會選擇哪條信息。也就是隨機(jī)的.

如何度量信息量?

香農(nóng)大佬認(rèn)為選擇`對數(shù)函數(shù)`作為度量函數(shù), 還介紹了它的優(yōu)點(diǎn)。使人不得不信服, 為什么不選擇一些正比例函數(shù)如線性函數(shù)(y = kx + b)度量信息量呢？畢竟它們都是與可能性成正相關(guān)的?？赡苁且?yàn)槿绻褂镁€性函數(shù)的話在可能狀態(tài)多的時候會使得信息量非常大,而使用對數(shù)函數(shù)這相反(x -> +oo時, 導(dǎo)數(shù)-> 0),? 純屬個人猜想, 不過還是得先跟香農(nóng)大佬來。。。

比特

If the

base 2 is used the resulting units may be called binary digits, or more briefly bits

當(dāng)?shù)讛?shù)為2時, 就可以得到一個二進(jìn)制數(shù)位, 稱之為bit(比特)

如果要記錄一個電路的開關(guān)狀態(tài), 用0表示關(guān)，1表示開，那么我們只需要`log(2, 2)`也就是一個比特就能保存這個電路所有可能值,?

同理, 如果底數(shù)為10, 我們僅僅用1個單位就能存放10種情況.

那么這樣的話, 經(jīng)過換算, 一個十進(jìn)制數(shù)位大概為3.32比特.?

于是, 想知道可能狀態(tài)N需要多少bit保存, 有一個很簡單的公式:?

通信系統(tǒng)

接下來香農(nóng)展示了他眼中的通信系統(tǒng):

首先是信號源(INFORMATION SOURCE): 負(fù)責(zé)生成消息序列.

然后是發(fā)送器(transmitter): 對消息進(jìn)行處理

接收器(receiver): ordinarily performs the inverse operation of that done by the transmitter, reconstructing the message from the signal(發(fā)送器的逆操作不就是接收嗎?)

信宿(destination): 接受信號的地方

We may roughly classify communication systems into three main categories: discrete,

continuous and mixed.

香農(nóng)將通信系統(tǒng)分為三大類:?

* 離散系統(tǒng): 消息和信號都是離散符合序列, 就像電報(bào)用著一系列點(diǎn)等符號

* 連續(xù)系統(tǒng): 消息和信號都能看成連續(xù)函數(shù)(無線廣播, 電視), 什么是連續(xù)函數(shù)(continuous functions)?個人理解應(yīng)該是像三角, 變換這些連續(xù)的玩意吧。。。

* 混合系統(tǒng): 離散和連續(xù)變量都可能出現(xiàn)的系統(tǒng)(語音傳送), 也就是上面2個的結(jié)合

We first consider the discrete case. This case has applications not only in communication theory, but

also in the theory of computing machines, the design of telephone exchanges and other fields.?

于是大佬就開始討論離散部分的理論, 指出了這是適用于計(jì)算機(jī)領(lǐng)域理論?？辛诉@么久才發(fā)現(xiàn)剛剛開始.

離散無噪聲系統(tǒng)

離散通道就是從一點(diǎn)向另一點(diǎn)傳送選擇序列(a sequence of choices), 該序列是由`S1, ..., Sn`組成的有限集合, 像電報(bào)這種系統(tǒng)就是用離散通道傳遞的。

下面一個離散通道的容量`C`定義:

至于這為什么定義的話, 明天再記錄吧! 已經(jīng)夜深人靜了肝不動啦?。。?/p>

最后附上該論文的地址: https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

原來日常生活中通信技術(shù)中蘊(yùn)含著這么多數(shù)學(xué)原理, 到現(xiàn)在為止感覺我連一點(diǎn)皮毛都沒學(xué)到。。。真是太奇妙啦!

喜歡的話給個關(guān)注吧!