Kölcsönös Információ és tulajdonságai

Ez az oldal a korábbi SCH wikiről lett áthozva.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor, kérlek, javíts rajta egy rövid szerkesztéssel!

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót.

Definiciója:

$I(X;Y)=H(X)+H(Y)-H(X,Y)=H(X)-H(X|Y)$

a

$I(X;Y)=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)*p(y)}}=\sum _{x,y}p(x,y)\log {\frac {p(x|y)}{p(x)}}=\sum _{x,y}p(x,y)\log {\frac {p(y|x)}{p(y)}}$

Bizonyítás

$-H(X)=\sum _{x}p(x)\log p(x)=(\sum _{y}p(y|x))*\sum _{x}p(x)\log p(x)=$ (mivel $\sum _{y}p(y|x)=1$)

$=\sum _{y}p(y|x)*\sum _{x}p(x)\log p(x)=\sum _{y}\sum _{x}p(y|x)*p(x)\log p(x)=$

$=\sum _{y,x}p(x,y)\log p(x)$

Ugyanígy $-H(Y)=\sum _{y,x}p(x,y)\log p(y)$
$-H(X,Y)=\sum _{x,y}p(x,y)*\log p(x,y)$
$I(X;Y)=H(X)+H(Y)-H(X,Y)=\sum _{x,y}p(x,y)*\log p(x,y)-\sum _{y,x}p(x,y)logp(x)-\sum _{y,x}p(x,y)\log p(y)=$
$=\sum _{x,y}p(x,y)*\log {\frac {p(x,y)}{p(x)*p(y)}}$

b

$I(X;Y)>=0$

Bizonyítás

Mivel $H(X,Y)\leq H(X)+H(Y)$, ezért $I(X;Y)=H(X)+H(Y)-H(X,Y)\geq 0$

c

$I(X;Y)\leq H(X)$ $I(X;Y)\leq H(Y)$

Bizonyítás

$I(X;Y)=H(X)+H(Y)-H(X,Y)\leq H(X)$ mivel $H(Y)\leq H(X,Y)$

d

$I(X;Y)\geq I(g(X);f(Y))$

Bizonyítás

$I(X;Y)=H(X)-H(X|Y)\geq H(X)-H(X|f(Y))=$

$I(X;f(Y))=H(f(Y))-H(f(Y)|X)\geq H(f(Y))-H(f(Y)|g(X))=I(g(X);f(Y))$