【跨學(xué)科工具箱】信息論模型：消除不確定性（學(xué)習(xí)筆記）
哈夫曼編碼：合理分配資源
幀間壓縮算法：關(guān)注變化 忽略重復(fù)
冗余度：資源的重復(fù)度
資料
跨學(xué)科工具箱 林超
YJango 學(xué)習(xí)觀
信息簡史
信息論40講吳軍（待學(xué)習(xí)）
信息
信息：消除不確定性的叫做信息
無法消除不確定性的叫作噪音，需要通過知識(shí)將其與信息進(jìn)行分離
信息量：消除信息熵所需要的信息的量，單位是bit
還有一種定義將此稱為正信息，增加不確定性的則叫做負(fù)信息，比如欺騙，撒謊，謠言
信息可以被認(rèn)為是從無序中奪得的有序
信息熵：描述一個(gè)東西不確定性的程度，通俗講就是你要搞清楚一個(gè)東西的難度
信息量的計(jì)算：n比特信息就是我們，要在2^n個(gè)可能選擇中（出現(xiàn)概率不一定相等）做出選擇需要的信息量。不如我們判斷一個(gè)人是高于六英尺還是低于六英尺，并且已知兩種情況出現(xiàn)的可能性相等，那么我們只需要1比特信息。
例子1（猜盲盒）：猜測(cè)盲盒中會(huì)出現(xiàn)哪個(gè)娃娃，如果只有一種娃娃，猜中沒有難度，信息熵為零，如果有很多種娃娃，猜中難度較大，信息熵也很大。會(huì)有一下結(jié)論：
可能出現(xiàn)娃娃款式數(shù)量越多，信息熵越大
款式確定去情況下，如果每一款出現(xiàn)概率一樣，這時(shí)候信息熵最大。
如果有一個(gè)款式出現(xiàn)概率很大，信息熵會(huì)大大降低。
例子2（選擇題）小明做某道數(shù)學(xué)題，有ABCD四個(gè)正確選項(xiàng)，正確答案是C
小明認(rèn)為ABCD選項(xiàng)都一樣可能，這時(shí)候選項(xiàng)在等概率的時(shí)候信息熵最大
小紅告訴小明選有一半可能選C，提供了信息，將C選項(xiàng)的可能性從25%提高到了50%
小紅告訴小明不選B選項(xiàng)，提供了信息，將B選項(xiàng)的可能性從25%降低到了0%
小紅告訴小明正確答案是C，提供了信息，將C選項(xiàng)概率提升到了100%
但是當(dāng)小明已經(jīng)知道正確答案是C，小紅對(duì)小明則提供了0bit的信息
小紅告訴小明肯定是ABCD其中一項(xiàng)，就提供了0bit的信息，也就是所謂的“廢話”
無論是小紅用紙條還是直接告訴小明正確答案，提供的信息都是一樣的
小明主觀認(rèn)為C是錯(cuò)的，實(shí)際的信息熵不會(huì)減少
小明對(duì)正確答案是ABCD哪個(gè)選項(xiàng)的熵是2bit，對(duì)答案屬于AB還是CD的熵是1bit
解答這道題的信息本質(zhì)是調(diào)整每個(gè)可能情況（微觀態(tài)）的概率
例子3 “太陽從東邊升起” ?這句話對(duì)于知道的人，提供了1bit信息，對(duì)于知道或東或西升起的人，提供了1bit信息，對(duì)于覺得東南西北都有可能的人提供了2bits的人
啟發(fā)：
模棱兩可，平均用力，是一種相對(duì)無效的資源配置方式。（例子1.2，2.2）
對(duì)同一件事情接收到的信息與用于傳遞信息的信號(hào)形式無關(guān)（例子2.7）
信息量是相對(duì)的：是相對(duì)于人的：接受到的信息量是相對(duì)于觀察者已經(jīng)對(duì)這件事情實(shí)際的了解程度而言的，所以說到信息量就必須不能脫離觀察者（例子2.5，例子3）；也是相對(duì)于事的（例子2.9）；很多人在思考問題的時(shí)候，會(huì)不自覺的認(rèn)為所有觀察者都和自己一樣，或不經(jīng)意間切換所要思考的事情，或根本不知道自己思考什么事情，這會(huì)導(dǎo)致怎么也想不明白或白費(fèi)力氣
但信息時(shí)客觀的物理量，不隨觀察者主觀意識(shí)改變（例子2.8）
相關(guān)
語言的“信息”不僅僅包含在每個(gè)字詞上，還包括在音調(diào)上，還包括在句話，整篇文章，整個(gè)語言背景的綜合里。
哈夫曼編碼
用途：在計(jì)算機(jī)領(lǐng)域廣泛應(yīng)用于數(shù)據(jù)壓縮，可以對(duì)涉及到資源分配的生活場景提供啟發(fā)
哈夫曼編碼：如果我們能把較短的編碼分配給高頻出現(xiàn)的詞匯，使用編碼時(shí)就可以達(dá)到效率最優(yōu)化。
哈夫曼編碼是一種不定長編碼/前綴編碼
編碼：把一個(gè)東西映射到另一個(gè)東西上。好的映射應(yīng)該保證信息不丟失
啟發(fā)：為了提高效率，我們應(yīng)該把生活中最重要的資源分配給人生中最高頻出現(xiàn)的場景。即圍繞關(guān)鍵領(lǐng)域飽和配置/集中精力夯實(shí)基礎(chǔ)知識(shí)
應(yīng)用：比如安排家具物品的位置，常用的放到更順手的地方，愛看書就把書房設(shè)置大一點(diǎn)；
相關(guān)：奧卡姆剃刀，即大刀闊斧的做減法，可以和霍夫曼編碼結(jié)合起來。比如認(rèn)真反思自己生活中最高頻的場景有沒有可以優(yōu)化的空間，比如吃飯，睡覺，運(yùn)動(dòng)，呼吸，工作，娛樂，排便等；把資金花在自己最高頻使用的工具上，比如筆記本電腦和手機(jī)
幀間壓縮算法
是什么：壓縮信息的一種算法。
為什么要壓縮，如果不壓縮的話，一個(gè)兩小時(shí)的高清電影可能會(huì)12000GB大小，壓縮后能降低幾千倍大小，但還是看起來很流暢
怎么做：視頻連續(xù)的畫面間有很多重復(fù)的部分，只需要存儲(chǔ)變化的部分即可，而因?yàn)橐曨l大多是連續(xù)的，所以變化的部分其實(shí)不多。
啟發(fā)：
關(guān)注變化，忽略重復(fù)，可以使我們的學(xué)習(xí)效率提升n倍
結(jié)合霍夫曼編碼原理，起步的時(shí)候把基本功練扎實(shí)是最重要的，后面就可以只關(guān)注增量
其他：
只要有序的東西都是可以壓縮的，只有完全隨機(jī)的序列才無法壓縮。
如果某個(gè)對(duì)象能用其他較少bit的方式表達(dá)，那么他就是可壓縮的
人是如何創(chuàng)造出各種理論，來解釋自身對(duì)于世界的經(jīng)驗(yàn)?zāi)?？他們必須將?jīng)驗(yàn)一般化，從深受隨機(jī)性和噪聲影響的數(shù)據(jù)中找出模式。當(dāng)人或計(jì)算機(jī)從經(jīng)驗(yàn)中學(xué)習(xí)時(shí)，他們?cè)诓捎脷w納推理，從無規(guī)律的信息流中識(shí)別出規(guī)律來。從這個(gè)意義上來說，科學(xué)定律其實(shí)就是一種數(shù)據(jù)壓縮。
冗余度
冗余度：資源的重復(fù)度。信息論中語言的冗余度D度量了某種文本在不損失任何信息的前提下可以縮減多少篇幅。
用途：
為了保證安全性可靠性，用數(shù)據(jù)備份等手段增加冗余度，等等。
語言上的冗余指的是“為了克服歧義和進(jìn)行糾錯(cuò)而專門引入的額外的信息”，事實(shí)上每一種語言都包括冗余，這也就是為什么人們可以讀懂錯(cuò)別字連篇的文章。但在通訊中，這種冗余明顯會(huì)造成巨大的浪費(fèi)。
啟發(fā)
冗余并不一定是壞東西，在工程領(lǐng)域它可以保證系統(tǒng)運(yùn)作安全，在表達(dá)上，它能更好的服務(wù)于人類的認(rèn)知習(xí)慣。
時(shí)代在進(jìn)步，人類習(xí)慣接受的冗余度也在減少，所以我們?cè)絹碓叫枰莆杖コ哂喽鹊姆椒ā?/p>
如何去除冗余度：畫分析框架
把關(guān)鍵概念零散的列出來（這個(gè)摘要的就是）
尋找整理概念之間的關(guān)聯(lián)
套用和矯正自己原有的知識(shí)體系
其他
質(zhì)能方程：物質(zhì)和能量的關(guān)系，意義在于兩個(gè)完全不同的概念聯(lián)系到了一起。
信息熵公式：整個(gè)信息論的基礎(chǔ)，描述信息如何量化【信息熵】
海森堡測(cè)不準(zhǔn)原理：描述科學(xué)的邊界，無論科學(xué)怎樣發(fā)展，都無法測(cè)算基本粒子的狀態(tài)，因?yàn)槲覀冇^察粒子這件事情，本身就會(huì)改變粒子的行為。
啟發(fā)：我們的觀察會(huì)改變客觀世界，所以我們生活的世界是沒有絕對(duì)客觀的存在的，我們真正能觀察到的只能是客觀世界和主觀想象之間的結(jié)合體。
能量和信息：能量守恒，但信息不守恒。
整個(gè)宇宙最主要的兩個(gè)概念，能量（物質(zhì)）和信息
哲學(xué)家希望思考的是事物的本質(zhì)，但他們思考的卻只能是事物的符號(hào)【語言學(xué)轉(zhuǎn)向】
“完美"與"確定性"這些概念與語言的本質(zhì)是相互對(duì)立的，信息論已經(jīng)幫我們理解了這一點(diǎn)
