最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

關(guān)于信息熵(香農(nóng)熵)

2021-06-27 11:32 作者:子燁紫冶籽  | 我要投稿

這一部分有點頭疼,做好心理準(zhǔn)備吧。

測量信息熵的公式,需要滿足這三個條件:

第一,它必須是連續(xù)性的

第二,如果每個事件的概率一樣,那么事件的數(shù)目越大,這個公式結(jié)果也要越高。(可能性越高,信息熵的值也越高,意味著不可預(yù)測性更高)

第三,允許“疊buff”,也就是說

H(p_%7B1%7D%2Cp_%7B2%7D%2C...%2Cp_%7Bn%7D)%3DH(p_%7B1%7D%2Cq)%2BqH(%5Cfrac%7Bp_%7B2%7D%7D%7Bq%7D%2C%5Cfrac%7Bp_%7B3%7D%7D%7Bq%7D%2C...%2C%5Cfrac%7Bp_%7Bn%7D%7D%7Bq%7D)%2C%20p_%7B1%7D%2Bq%3D1

而滿足這三個條件的,只有這個情況:

H%3D-K%5Csum_%7Bi%3D1%7D%5En%20p_%7Bi%7D%5Clog%20p_%7Bi%7D%2C%20k%3E0

具體這玩意怎樣搞出來的,就是:

我們先應(yīng)用第二個條件:

H(%5Cfrac%7B1%7D%7Bn%7D%2C%5Cfrac%7B1%7D%7Bn%7D%2C...%2C%5Cfrac%7B1%7D%7Bn%7D)

然后我們拆解一下,從s%5Em挑選一個,換成從s挑選m次。

打個比方,一個128位元的值,等于(0,1)之間選擇了128次。

所以,A(s%5Em)%3Dm%5Ccdot%20A(s)

同樣的,把s換成t,把m換成n也成立,隨便選一個n,然后假設(shè)這個m可以滿足:

s%5Em%5Cleq%20t%5En%20%3Cs%5E%7Bm%2B1%7D

加入對數(shù),并除以n%5Clog%20s,就有兩種可能:

%5Cfrac%7Bm%7D%7Bn%7D%20%5Cleq%20%5Cfrac%7B%5Clog%7Bt%7D%7D%7B%5Clog%7Bs%7D%7D%5Cleq%5Cfrac%7Bm%7D%7Bn%7D%2B%5Cfrac%7B1%7D%7Bn%7D,或者%5Cvert%20%5Cfrac%7Bm%7D%7Bn%7D%20-%20%5Cfrac%7B%5Clog%7Bt%7D%7D%7B%5Clog%7Bs%7D%7D%20%5Cvert%20%3C%5Cepsilon%20

考慮到第二個條件,

A(s%5Em)%5Cleq%20A(t%5En)%5Cleq%20A(s%5E%7Bm%2B1%7D)%2C%20m%20A(s)%5Cleq%20nA(t)%5Cleq%20(m%2B1)%20A(s)

后面那個再進行一次對數(shù)處理,除以nA(s)之后:

%5Cfrac%7Bm%7D%7Bn%7D%20%5Cleq%20%5Cfrac%7BA(t)%7D%7BA(s)%7D%20%5Cleq%20%5Cfrac%7Bm%2B1%7D%7Bn%7D

%5Cvert%20%5Cfrac%7BA(t)%7D%7BA(s)%7D%20-%20%5Cfrac%7B%5Clog%20%7Bt%7D%7D%7B%5Clog%20%7Bs%7D%7D%20%5Cvert%20%5Cleq%202%5Cepsilon%2CA(t)%20%3D%20-K%20%5Clog%7Bt%7D

這個K必須為正以滿足第二個條件。

我們假設(shè)在n可能性中有個選項i,而其概率為p_i%3D%5Cfrac%7Bn_i%7D%7B%5CSigma%20n_%7Bi%7D%7D,使用第三個條件,可以這么組合:

K%5Clog%7B%5CSigma%20n_%7Bi%7D%7D%3DH(p_%7Bi%7D%2C...%2Cp_%7Bn%7D)%20%2B%20K%5CSigma%20p_%7Bi%7D%20%5Clog%7Bn_i%7D

所以

H%3DK%5B%5CSigma%20p_%7Bi%7D%5Clog%5CSigma%20n_%7Bi%7D-%5CSigma%20p_%7Bi%7D%20%5Clog%20%7Bn_%7Bi%7D%7D%5D%20%3D%20-%20K%5CSigma%20p_%7Bi%7D%5Clog%7B%5Cfrac%7Bn_%7Bi%7D%7D%7B%5CSigma%20n_%7Bi%7D%7D%7D%20%3D%20-K%20%5CSigma%20p_%7Bi%7D%20%5Clog%7Bp_%7Bi%7D%7D


關(guān)于信息熵(香農(nóng)熵)的評論 (共 條)

分享到微博請遵守國家法律
修水县| 资溪县| 天等县| 新民市| 清新县| 潜江市| 定结县| 朝阳县| 宁武县| 黎平县| 宣恩县| 恩平市| 合山市| 云阳县| 城固县| 阿鲁科尔沁旗| 颍上县| 西丰县| 金寨县| 伊春市| 宝鸡市| 肥东县| 唐海县| 漳州市| 上饶市| 江山市| 房产| 瓦房店市| 屯门区| 黄石市| 东兴市| 专栏| 冷水江市| 高邮市| 阆中市| 阿拉尔市| 虎林市| 汉阴县| 云和县| 延吉市| 梧州市|