Entrópia és tulajdonságai

Ez az oldal a korábbi SCH wiki-ről lett áthozva. Az eredeti változata itt érhető el.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor kérlek javíts rajta egy rövid szerkesztéssel.

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót

Entrópia definíciója

Az _X_ valószínűségi változó entrópiáját, H(X) -et, a [math] H(X)= E(-\log p(X))= - \sum\limits_{i=0}^{n} p(x_{i}) \cdot \log p(x_{i})[/math] összeggel definiáljuk.

Entrópia tulajdonságai

Pozitív

[math] 0 \leq H(X) [/math].

Bizonyítás: Egynél nagyobb alapú logaritmus egynél nem nagyobb kitevőre nem pozitív. Ennek az ellentettjét vesszük, majd annak a várható értékét, ami így nem lehet negatív.

Egyenlőseg akkor áll fenn, ha [math]X[/math] 1 valószinűséggel konstans.

Biz.: [math] H(X)= E(-\log p(X))= -p(x)\cdot\log p(x) = 1 \cdot \log 1 = 0 [/math]

Maximális érték

[math] H(X) \leq \log n [/math], ha [math]X[/math] valószínűségi változó [math]n[/math] értéket vehet fel.

Bizonyítás: Jensen egyenlőtlenséggel, ahol [math]q_i = \frac{1}{n}[/math]. (Ld.: Tk 15. o. 1.2 következmény)

Egyenlőség akkor, ha [math]X[/math] egyenletes eloszlású.

Bizonyítás: Definícióba való behelyettesítéssel, ahol p(x) = 1 / n:
[math] H(X)= - \sum\limits_{i=0}^{n} \frac{1}{n} \cdot \log\left(\frac{1}{n}\right) = -n \cdot \frac{1}{n}\cdot \log\left(\frac{1}{n}\right) = - \log\left(\frac{1}{n}\right) = \log(n) [/math]

Együttes entrópia

[math] H(X,Y) \leq H(X) + H(Y)[/math], egyenlőség akkor, ha [math]X[/math] és [math]Y[/math] teljesen függetlenek.

Bizonyítás: [math] - \sum\limits_{x,y} p(x,y)\cdot\log p(x,y) \leq - \sum\limits_{x,y} p(x,y)\cdot\log p(x)p(y) [/math]

Tulajdonság

[math] H(g(X)) \leq H(X) [/math]

Bizonyítás:

• [math] H(X,g(X))= H(g(X))+ H(X|g(X)) \geq H(g(X)) [/math] mivel [math] H(X,Y)=H(X) + H(Y|X)[/math], valamint [math]H (X|g(X)) \geq 0 [/math]
• [math] H(X,g(X))= H(X) + H(g(X)|X) = H(X) [/math] mivel [math] H(g(X)|X)=0 [/math], hiszen [math]g(X)[/math] nem ad új információt [math]X[/math] ismeretében

Egyenlőség akkor áll fenn, ha [math]g[/math] invertálható