????根據(jù)上一篇文章中的有關(guān)KL散度的定義進(jìn)一步變形推導(dǎo)出以下概念

熵是一種信息度量，體現(xiàn)了在系統(tǒng)當(dāng)前狀態(tài)下，個體組合方式的多樣性的程度。與熱力學(xué)第二定律相結(jié)合，以下例子中進(jìn)行體現(xiàn)。

一共有N個物體，每個方框內(nèi)分別放置Ni個物體，一共放置在M個方框內(nèi)，按照排列組合公式可以得到如上結(jié)果W。

將排列組合的結(jié)果帶入熱力學(xué)公式中，通過斯特林公式的近似運(yùn)算之后可以求得熵，這個熵也就是機(jī)器學(xué)習(xí)中常用的信息熵公式。