釋意：無序狀態(tài)測量法；熵（shāng物資系統(tǒng)的不能用來做功的能量的度量）,熵值；信息熵；平均信息量。
熵是一個科學(xué)概念，也是一種可測量的物理特性，最常與無序、隨機或不確定狀態(tài)相關(guān)聯(lián)。 這個術(shù)語和概念被用于不同的領(lǐng)域，從它最初被認(rèn)可的經(jīng)典熱力學(xué)，到統(tǒng)計物理學(xué)中對自然的微觀描述，再到信息論的原理。 它在化學(xué)和物理學(xué)、生物系統(tǒng)及其與生命的關(guān)系、宇宙學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)、天氣科學(xué)、氣候變化和信息系統(tǒng)（包括電信信息傳輸）中都有廣泛的應(yīng)用。[1]
在信息論中，隨機變量的熵是變量可能結(jié)果固有的“信息”、“意外”或“不確定性”的平均水平。
信息熵的概念由克勞德·香農(nóng)在其1948年的論文《通信的數(shù)學(xué)理論》[2]中提出，也簡稱為香農(nóng)熵。 香農(nóng)的理論定義了一個由三個要素組成的數(shù)據(jù)通信系統(tǒng)：數(shù)據(jù)源、通信信道和接收器。 “通信的基本問題”——正如香農(nóng)所表達(dá)的——是接收器能夠根據(jù)它通過信道接收到的信號來識別源生成的數(shù)據(jù)。 [3]香農(nóng)考慮了對來自數(shù)據(jù)源的消息進(jìn)行編碼、壓縮和傳輸?shù)母鞣N方法，并在他著名的源編碼定理中證明了熵代表了一個絕對數(shù)學(xué)極限，即來自源的數(shù)據(jù)可以無損壓縮到完美無噪聲通道的程度。 香農(nóng)在他的噪聲信道編碼定理中大大加強了噪聲信道的這一結(jié)果。
信息論中的熵直接類似于統(tǒng)計熱力學(xué)中的熵。 當(dāng)隨機變量的值指定微觀狀態(tài)的能量時會產(chǎn)生類比，因此熵的吉布斯公式在形式上與香農(nóng)公式相同。 熵與其他數(shù)學(xué)領(lǐng)域相關(guān)，例如組合數(shù)學(xué)和機器學(xué)習(xí)。 該定義可以從一組公理中推導(dǎo)出來，這些公理確定熵應(yīng)該是衡量變量平均結(jié)果信息量的量度。
以上來自維基百科，但我認(rèn)為最好的解釋是：
The amount of disorder in a system is known as entropy.
熵是對混亂程度的評價。

[1] Wehrl, Alfred (1 April 1978). "General properties of entropy". Reviews of Modern Physics. 50 (2): 221–260. Bibcode:1978RvMP...50..221W. doi:10.1103/RevModPhys.50.221
[2] Shannon, Claude E. (July 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (3): 379–423.
[3] Shannon, Claude E. (October 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (4): 623–656.