關(guān)于信息熵(香農(nóng)熵)
這一部分有點頭疼,做好心理準(zhǔn)備吧。
測量信息熵的公式,需要滿足這三個條件:
第一,它必須是連續(xù)性的
第二,如果每個事件的概率一樣,那么事件的數(shù)目越大,這個公式結(jié)果也要越高。(可能性越高,信息熵的值也越高,意味著不可預(yù)測性更高)
第三,允許“疊buff”,也就是說
而滿足這三個條件的,只有這個情況:
具體這玩意怎樣搞出來的,就是:
我們先應(yīng)用第二個條件:
然后我們拆解一下,從挑選一個,換成從s挑選m次。
打個比方,一個128位元的值,等于(0,1)之間選擇了128次。
所以,
同樣的,把s換成t,把m換成n也成立,隨便選一個n,然后假設(shè)這個m可以滿足:
加入對數(shù),并除以,就有兩種可能:
,或者
考慮到第二個條件,
后面那個再進行一次對數(shù)處理,除以nA(s)之后:
這個K必須為正以滿足第二個條件。
我們假設(shè)在n可能性中有個選項i,而其概率為,使用第三個條件,可以這么組合:
所以
標(biāo)簽: