信息量：利用概率計算信息量

事件發(fā)生的概率越低，它含有的信息量就越大，因為它幫我們排除的不確定性越大。

信息熵：一個系統(tǒng)內(nèi)發(fā)生某個事件時，它能帶給你的信息量的期望。感性理解：若1個系統(tǒng)內(nèi)由大量小概率事件構(gòu)成，則它的信息熵就大