Feltételes entrópia és tulajdonságai

Ez az oldal a korábbi SCH wikiről lett áthozva.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor, kérlek, javíts rajta egy rövid szerkesztéssel!

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót.

Feltételes entrópia definíciója

X-nek az Y feltétellel vett feltételes entrópiája a következő: $H(X|Y)=-\sum \limits _{y\in {\mathcal {Y}}}\sum \limits _{x\in {\mathcal {X}}}p(x,y)\log p(x|y)$

megjegyzés: $H(X|Y)=-\sum \limits _{y\in {\mathcal {Y}}}p(y)\sum _{x\in {\mathcal {X}}}p(x|y)\log p(x|y)$ $H(X|Y=y)=-\sum \limits _{x\in {\mathcal {X}}}p(x|y)\log p(x|y)$

Feltételes entrópia tulajdonságai

a)

$H(X,Y)=H(X)+H(Y|X)$

$H(X,Y)=H(Y)+H(X|Y)$

b1)

$0\leq H(X|Y)$

Egyenlőség akkor áll fenn, ha X függvénye Y-nak. (Hiszen ekkor X nem hordoz új információt Y ismeretében)

b2)

$H(X|Y)\leq H(X)$

Egyenlőség akkor áll fenn, ha X és Y teljesen függetlenek.

c)

$H(X|Y,Z)\leq H(X|Z)$

d)

$H(X|Y)\leq H(X|f(Y))$

e) láncszabály

$H(X_{1},X_{2},\dots ,X_{n})=H(X_{1})+H(X_{2}|X_{1})+\dots +H(X_{n}|X_{1},X_{2},\dots ,X_{n-1})$