Feltételes entrópia és tulajdonságai forrásának megtekintése

{{GlobalTemplate|Infoalap|InfElmTetel2}}


==Feltételes entrópia definíciója==
X-nek  az Y feltétellel vett '''feltételes entrópiája''' a következő:
<math> H(X|Y) = - \sum\limits_{y\in \mathcal Y} \sum\limits_{x\in \mathcal X} p(x,y) \log p(x|y)</math>

''megjegyzés:''
<math>H(X|Y) = - \sum\limits_{y \in \mathcal{Y}} p(y) \sum_{x\in\mathcal X} p(x|y) \log p(x|y)</math>
<math>H(X|Y=y) = -\sum\limits_{x\in \mathcal X} p(x|y) \log p(x|y)</math>  

==Feltételes entrópia tulajdonságai==
===a)===
<math> H(X,Y) = H(X) + H(Y|X) </math>

<math> H(X,Y) = H(Y) + H(X|Y) </math>

==b1)==
<math> 0 \leq H(X|Y) </math>

Egyenlőség akkor áll fenn, ha X függvénye Y-nak. (Hiszen ekkor X nem hordoz új információt Y ismeretében)

==b2)==
<math> H(X|Y) \leq H(X) </math>

Egyenlőség akkor áll fenn, ha X és Y teljesen függetlenek.

==c)==
<math> H(X|Y,Z) \leq H(X|Z) </math>

==d)==
<math> H(X|Y) \leq H(X|f(Y)) </math>

==e) láncszabály==
<math> H(X_1, X_2, \dots, X_n) = H(X_1) + H(X_2|X_1) + \dots + H(X_n|X_1, X_2, \dots, X_{n-1}) </math>


[[Category:Infoalap]]