Entrópia és tulajdonságai

Ez az oldal a korábbi SCH wikiről lett áthozva.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor, kérlek, javíts rajta egy rövid szerkesztéssel!

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót.

Entrópia definíciója

Az _X_ valószínűségi változó entrópiáját, H(X) -et, a $H(X)=E(-\log p(X))=-\sum \limits _{i=0}^{n}p(x_{i})\cdot \log p(x_{i})$ összeggel definiáljuk.

Entrópia tulajdonságai

Pozitív

$0\leq H(X)$.

Bizonyítás: Egynél nagyobb alapú logaritmus egynél nem nagyobb kitevőre nem pozitív. Ennek az ellentettjét vesszük, majd annak a várható értékét, ami így nem lehet negatív.

Egyenlőseg akkor áll fenn, ha $X$ 1 valószinűséggel konstans.

Biz.: $H(X)=E(-\log p(X))=-p(x)\cdot \log p(x)=1\cdot \log 1=0$

Maximális érték

$H(X)\leq \log n$, ha $X$ valószínűségi változó $n$ értéket vehet fel.

Bizonyítás: Jensen egyenlőtlenséggel, ahol $q_{i}={\frac {1}{n}}$. (Ld.: Tk 15. o. 1.2 következmény)

Egyenlőség akkor, ha $X$ egyenletes eloszlású.

Bizonyítás: Definícióba való behelyettesítéssel, ahol p(x) = 1 / n:
$H(X)=-\sum \limits _{i=0}^{n}{\frac {1}{n}}\cdot \log \left({\frac {1}{n}}\right)=-n\cdot {\frac {1}{n}}\cdot \log \left({\frac {1}{n}}\right)=-\log \left({\frac {1}{n}}\right)=\log(n)$

Együttes entrópia

$H(X,Y)\leq H(X)+H(Y)$, egyenlőség akkor, ha $X$ és $Y$ teljesen függetlenek.

Bizonyítás: $-\sum \limits _{x,y}p(x,y)\cdot \log p(x,y)\leq -\sum \limits _{x,y}p(x,y)\cdot \log p(x)p(y)$

Tulajdonság

$H(g(X))\leq H(X)$

Bizonyítás:

• $H(X,g(X))=H(g(X))+H(X|g(X))\geq H(g(X))$ mivel $H(X,Y)=H(X)+H(Y|X)$, valamint $H(X|g(X))\geq 0$
• $H(X,g(X))=H(X)+H(g(X)|X)=H(X)$ mivel $H(g(X)|X)=0$, hiszen $g(X)$ nem ad új információt $X$ ismeretében

Egyenlőség akkor áll fenn, ha $g$ invertálható