關(guān)注?哆嗒數(shù)學(xué)網(wǎng)?每天獲得更多數(shù)學(xué)趣文

01

香農(nóng)其人

科學(xué)尋求自然的基本定律，數(shù)學(xué)則在舊基礎(chǔ)上構(gòu)造新的定理，而工程學(xué)建造系統(tǒng)來(lái)解決人類的需求。這三個(gè)學(xué)科相互依存，但又截然不同。同時(shí)為這三個(gè)領(lǐng)域做出核心貢獻(xiàn)的人極為罕見(jiàn)，而克勞德·香農(nóng)就是如此。

香農(nóng)是紀(jì)錄片《The Bit Player》的主題，其研究工作和研究哲學(xué)深深啟發(fā)了筆者的事業(yè)。盡管如此，無(wú)論是生前還是在2001年去世之后，香農(nóng)并不是一個(gè)像愛(ài)因斯坦一樣家喻戶曉的人物，他不像費(fèi)曼那樣出名，也從未獲得過(guò)諾貝爾獎(jiǎng)。然而，香農(nóng)70多年前的一份開(kāi)創(chuàng)性論文，奠定了整個(gè)現(xiàn)代通信設(shè)施的基礎(chǔ)。沒(méi)有他，就沒(méi)有如今的信息時(shí)代。

紀(jì)錄片《The Bit Player》

香農(nóng)于1916年出生于密歇根州的蓋洛德，是一位本地商人和一位教師的兒子。他在密歇根大學(xué)獲得了電氣工程和數(shù)學(xué)學(xué)位，之后，在麻省理工學(xué)院撰寫(xiě)了一篇碩士論文，將布爾代數(shù)應(yīng)用于開(kāi)關(guān)電路的分析和綜合。這項(xiàng)變革性的工作，將電路設(shè)計(jì)從一門(mén)藝術(shù)變成了一門(mén)科學(xué)，如今這被認(rèn)為是數(shù)字電路設(shè)計(jì)的起點(diǎn)。

克勞德·香農(nóng)撰寫(xiě)的碩士論文，突破性地開(kāi)創(chuàng)了數(shù)字電路設(shè)計(jì)這一領(lǐng)域，十年后，他撰寫(xiě)了有關(guān)信息論的開(kāi)創(chuàng)性論文《通信的數(shù)學(xué)理論》

接下來(lái)，香農(nóng)將目光投向了一個(gè)更大的目標(biāo)：通信。

02

向通信進(jìn)發(fā)

通信是人類最基本的需求之一。從煙霧信號(hào)到信鴿，再到電話、電視，人類一直在尋找更遠(yuǎn)、更快、更可靠的通信方法。但是，通信系統(tǒng)的工程問(wèn)題總是逃不開(kāi)各種發(fā)射源和傳輸介質(zhì)。

香農(nóng)卻問(wèn)了一個(gè)沒(méi)人問(wèn)過(guò)的問(wèn)題：“是否有一個(gè)偉大的統(tǒng)一理論來(lái)描述通信？”1939年，香農(nóng)在給導(dǎo)師范尼瓦爾·布什的信中，概述了他的一些關(guān)于“用于情報(bào)傳遞的通用系統(tǒng)的基本特性”的初步想法。經(jīng)過(guò)十年的研究，香農(nóng)終于在1948年發(fā)表了他的大師之作：《通信的數(shù)學(xué)理論》。

香農(nóng)的理論的核心，是一個(gè)簡(jiǎn)單卻非常通用的通信模型：發(fā)送器將信息編碼為信號(hào)，該信號(hào)會(huì)被噪聲破壞，然后由接收器解碼。模型很簡(jiǎn)單，卻有兩個(gè)關(guān)鍵見(jiàn)解：

1.信息源和噪聲源獨(dú)立于要設(shè)計(jì)的通信系統(tǒng)；

2.對(duì)這兩個(gè)源進(jìn)行概率建模。他設(shè)想源生成許多可能的信息，每條信息都有一定的概率。概率噪聲進(jìn)一步增加了接收器所解碼的隨機(jī)性。

在香農(nóng)之前，通信問(wèn)題主要被視為決定論的信號(hào)重建問(wèn)題：信號(hào)經(jīng)介質(zhì)傳播后發(fā)生變形，如何處理接收信號(hào)，能夠盡可能準(zhǔn)確地復(fù)現(xiàn)原始信號(hào)？香農(nóng)的天才在于他意識(shí)到：溝通的關(guān)鍵是不確定性。畢竟，如果我要講述的內(nèi)容您提前就知道，我還寫(xiě)它做什么呢？

香農(nóng)的通信模型示意圖，摘自他的論文

就是這一見(jiàn)解，將通信問(wèn)題從實(shí)體轉(zhuǎn)為抽象，從而使香農(nóng)可以使用概率對(duì)不確定性進(jìn)行建模。這極大地震驚了當(dāng)時(shí)的通信工程師。

03

信息論到底在講什么

建立起有關(guān)“不確定性和概率”的理論框架之后，香農(nóng)開(kāi)始著手他里程碑式的論文，并系統(tǒng)地確定了通信的基本極限。他的回答分為三個(gè)部分。在每個(gè)部分中，“bit（比特）”的概念都扮演著重要角色，香農(nóng)將其用作不確定性的基本單位。“bit”是“binary digit（二進(jìn)制數(shù)字）”的合成詞，bit可以是1或0，香農(nóng)的論文首先使用了該詞（盡管他說(shuō)數(shù)學(xué)家John Tukey在備忘錄中首先使用了它）。

首先，香農(nóng)提出了一個(gè)公式來(lái)計(jì)算每秒鐘至少需要多少個(gè)bit來(lái)傳輸一條信息，并將這個(gè)數(shù)字稱作熵率（entropy rate）H。熵率H表示發(fā)送者發(fā)送信息的不確定性，熵率越低，不確定性越小，因此越容易將消息壓縮得更短。例如，以每分鐘100個(gè)英文字母的速率發(fā)送短信意味著每分鐘發(fā)送?26100?條可能的消息，每條消息都是100個(gè)字母組成的序列。用470個(gè)比特就可以編碼所有可能，因?yàn)?2470≈?26100。如果每種序列都具有相同的可能性，那么香農(nóng)公式將表明熵率H確實(shí)是470 bits/分鐘。實(shí)際上，某些序列比其他序列更有可能出現(xiàn)，熵率低得多，可以進(jìn)行更大程度的壓縮。

其次，香農(nóng)提出了一個(gè)公式，來(lái)計(jì)算系統(tǒng)在噪聲存在情況下的最大傳輸容量，他稱之為系統(tǒng)容量（system’s capacity），C。這是接收器能夠?qū)魉偷男畔⑦M(jìn)行解碼的最大速率，也代表了通信的速度極限。

最后，他證明了對(duì)于發(fā)出的信息受到噪聲干擾的情況，只有當(dāng)H < C時(shí)，通信才是可靠的。信息就像水一樣，流量小于管道容量時(shí)，才可安全流過(guò)。

雖然這是一種通信理論，但同時(shí)也是一種有關(guān)信息如何產(chǎn)生和傳遞的理論——信息論。因此，現(xiàn)在香農(nóng)被稱作“信息論之父”。

他的定理得出了一些與直覺(jué)相反的結(jié)論。假設(shè)您在嘈雜的地方講話。確保您的消息通過(guò)的最佳方法是什么？也許是一遍又一遍地重復(fù)？這可能是大多數(shù)人的本能，但事實(shí)證明這樣做效率并不高。當(dāng)然，重復(fù)的次數(shù)越多，溝通越可靠，但這是犧牲速度來(lái)?yè)Q取可靠性。香農(nóng)告訴我們，我們可以做得遠(yuǎn)遠(yuǎn)比這更好。重復(fù)消息是使用代碼傳輸消息的一個(gè)例子，而使用不同的、更復(fù)雜的代碼，可以在保持一定可靠性的同時(shí)，更快速地通信——一直到速度極限C。

香農(nóng)站在一箱電子元件前? 香農(nóng)也有愛(ài)玩的一面，他經(jīng)常將這一面帶到他的工作中。這是香農(nóng)和他為一只名為特修斯的電子老鼠建造的迷宮的合影

香農(nóng)理論的另一個(gè)出乎意料的結(jié)論是，無(wú)論信息的性質(zhì)是什么，無(wú)論是莎士比亞十四行詩(shī)，貝多芬第五交響曲的錄音還是黑澤明的電影，在進(jìn)行傳輸之前，將其編碼為比特一定是最有效率的。因此，例如在無(wú)線電系統(tǒng)中，即使初始的聲音和在空中傳播的電磁信號(hào)都是模擬波形，基于香農(nóng)定理，最好也要先將聲波數(shù)字化為比特，然后再將這些比特映射為電磁波。這一令人驚訝的結(jié)果是現(xiàn)代數(shù)字信息時(shí)代的基石，在這個(gè)時(shí)代，比特已成為信息的“通用貨幣”。

04

跨界的天才

香農(nóng)的通信理論是如此自然，他似乎是發(fā)現(xiàn)了，而不是發(fā)明了宇宙的信息傳播定律。他的理論與大自然的物理定律一樣基礎(chǔ)。從這個(gè)意義上說(shuō)，他是一位科學(xué)家。

香農(nóng)發(fā)明了新的數(shù)學(xué)來(lái)描述通信定律。他首次引入的概念，例如概率模型的熵率，已經(jīng)應(yīng)用到廣泛的數(shù)學(xué)分支的研究中，例如遍歷理論（ergodic theory）（動(dòng)力學(xué)系統(tǒng)的長(zhǎng)期行為的研究）。從這個(gè)意義上說(shuō)，香農(nóng)是一個(gè)數(shù)學(xué)家。

但最重要的是，香農(nóng)是一名工程師。他的理論是受到了實(shí)際工程問(wèn)題的啟發(fā)。盡管對(duì)當(dāng)時(shí)的工程師來(lái)說(shuō)，這些理論深?yuàn)W難懂，但現(xiàn)已成為了所有現(xiàn)代（光學(xué)，水下，甚至星際）通信系統(tǒng)的基礎(chǔ)標(biāo)準(zhǔn)框架。就個(gè)人而言，我很幸運(yùn)地參與了一個(gè)全球范圍的，將香農(nóng)的理論應(yīng)用和擴(kuò)展到無(wú)線通信的事業(yè)，在多代標(biāo)準(zhǔn)中將通信速度提高了兩個(gè)數(shù)量級(jí)。確實(shí)，當(dāng)前推出的5G標(biāo)準(zhǔn)使用的不是一種而是兩種實(shí)用的代碼，它們都達(dá)到了香農(nóng)的速度極限。

克勞德·香農(nóng)在看一張土星照片

香農(nóng)在70多年前就為所有這一切奠定了基礎(chǔ)。他是怎么做到的？通過(guò)鍥而不舍地專注于問(wèn)題的基本特征，而忽略所有其他方面。他的交流模型的簡(jiǎn)單性就是這種風(fēng)格的很好例證。他還知道要專注于可能的事情，而不是立即可行的事情。

香農(nóng)制作的一輛黃色的遙控巴士。盡管香農(nóng)在2001年去世了，但他的遺產(chǎn)仍然存在于構(gòu)成我們現(xiàn)代世界的技術(shù)和他創(chuàng)造的設(shè)備（如這種遙控巴士）中

香農(nóng)的作品說(shuō)明了頂級(jí)科學(xué)的真正作用。當(dāng)我開(kāi)始讀研究生時(shí)，我的導(dǎo)師告訴我，最好的工作往往是在修剪知識(shí)樹(shù)，而不是發(fā)展知識(shí)樹(shù)。那時(shí)候我無(wú)法理解這句話。我一直認(rèn)為，研究人員應(yīng)當(dāng)追求的是添加自己的樹(shù)枝。后來(lái)我有機(jī)會(huì)在自己的工作中運(yùn)用了這種哲學(xué)，我才開(kāi)始理解。

當(dāng)香農(nóng)開(kāi)始研究傳播時(shí)，工程師已經(jīng)掌握了大量技術(shù)。正是他的工作將所有技術(shù)統(tǒng)一起來(lái)，將這些知識(shí)的枝條修剪成了一棵富有邏輯、一以貫之的、可愛(ài)的樹(shù)，這棵樹(shù)為幾代科學(xué)家，數(shù)學(xué)家和工程師結(jié)出了累累碩果。

作者：David?Tse

翻譯：xux

審校：Dannis

關(guān)注?哆嗒數(shù)學(xué)網(wǎng)?每天獲得更多數(shù)學(xué)趣文