Kölcsönös Információ és tulajdonságai

Ez az oldal a korábbi SCH wikiről lett áthozva.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor, kérlek, javíts rajta egy rövid szerkesztéssel!

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót.

Definiciója:

$I(X;Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X|Y)$

a

$I(X;Y)=\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)*p(y)}=\sum _{x,y}p(x,y)\log \frac{p(x|y)}{p(x)}=\sum _{x,y}p(x,y)\log \frac{p(y|x)}{p(y)}$

Bizonyítás

$-H(X)=\sum _{x}p(x)\log p(x)=(\sum _{y}p(y|x))*\sum _{x}p(x)\log p(x)=$ (mivel $\sum _{y}p(y|x)=1$)

$=\sum _{y}p(y|x)*\sum _{x}p(x)\log p(x)=\sum _y\sum _{x}p(y|x)*p(x)\log p(x)=$

$=\sum _{y,x}p(x,y)\log p(x)$

Ugyanígy $-H(Y)=\sum _{y,x}p(x,y)\log p(y)$
$-H(X,Y)=\sum _{x,y}p(x,y)*\log p(x,y)$
$I(X;Y)=H(X)+H(Y)-H(X,Y)=\sum _{x,y}p(x,y)*\log p(x,y)-\sum _{y,x}p(x,y)logp(x)-\sum _{y,x}p(x,y)\log p(y)=$
$=\sum _{x,y}p(x,y)*\log \frac{p(x,y)}{p(x)*p(y)}$

b

$I(X;Y)>=0$

Bizonyítás

Mivel $H(X,Y)\le H(X)+H(Y)$, ezért $I(X;Y)=H(X)+H(Y)-H(X,Y)\ge 0$

c

$I(X;Y)\le H(X)$ $I(X;Y)\le H(Y)$

Bizonyítás

$I(X;Y)=H(X)+H(Y)-H(X,Y)\le H(X)$ mivel $H(Y)\le H(X,Y)$

d

$I(X;Y)\ge I(g(X);f(Y))$

Bizonyítás

$I(X;Y)=H(X)-H(X|Y)\ge H(X)-H(X|f(Y))=$

$I(X;f(Y))=H(f(Y))-H(f(Y)|X)\ge H(f(Y))-H(f(Y)|g(X))=I(g(X);f(Y))$