Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Infoalap|InfElmTetel39}} vissza InfelmTetelek-hez ==Információs diverge…”

2012-10-21T19:59:47Z

Új oldal, tartalma: „{{GlobalTemplate|Infoalap|InfElmTetel39}} vissza InfelmTetelek-hez <style> li {margin-top: 4px; margin-bottom: 4px;} </style> ==Információs diverge…”

Új lap

{{GlobalTemplate|Infoalap|InfElmTetel39}}

[[InfElmVizsga|vissza InfelmTetelek-hez]]
<style> li {margin-top: 4px; margin-bottom: 4px;} </style>

==Információs divergencia==

===Definíció===

Másnéven [http://en.wikipedia.org/wiki/Kullback-Liebler_distance Kullback-Liebler távolság].

Tekintsük a következő valószínűségi eloszlásokat:<BR>
<math> \underline{p} = (p_1, p_2, ..., p_n) </math><BR>
<math> \underline{q} = (q_1, q_2, ..., q_n) </math><BR>

Ezen eloszlások ''információs divergenciája'' a következő:

<math> D(\underline{p}|\underline{q}) = \sum_{i=1}^{n} p_i log \frac{p_i}{q_i} </math>

==Tulandonságai==

===Pozitív===

Az információs divergencia mindig pozitív. <BR>
<math> 0 \leq D(\underline{p}|\underline{q}) </math> <BR>

Bizonyítás:<BR>
TODO: definíció szerint, majd a Jensen egyenlőtlenség követkeményével.

===Nulla===

<math> 0 = D(\underline{p}|\underline{q}) </math> acsa. ha a két valószínűségi eloszlás megegyezik. <BR>

===Ismeretlen nevű tulajdonság===

Egy adott eloszlás entrópiájának és az egyenletes eloszlásra vonatkozó információs divergenciájának összege mindig <math> log n </math>

<math> \underline{u}=(u_1, u_2, ..., u_n),</math> ahol <math> \forall i : u_i = 1/n </math>

<math> H(p) = log n - D(\underline{p}|\underline{u}) </math>

Bizonyítás:<BR>

TODO: Behelyettesítünk az entrópia és az információs divergencia képletébe. A inf. div. nél a logaritmusban a hányados szerint az egész szummát két szumma kölönbségévé alakítjuk. Az egyenletes eloszlás 1/n-jét behelyettesítjük. A többi kiesik. Szevasztok.

-- [[SzelessZoltanTamas|Sales]] - 2006.06.27.

[[Category:Infoalap]]

InfElmTetel39 - Laptörténet

Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Infoalap|InfElmTetel39}} vissza InfelmTetelek-hez li {margin-top: 4px; margin-bottom: 4px;} ==Információs diverge…”

Unknown user: Új oldal, tartalma: „{{GlobalTemplate|Infoalap|InfElmTetel39}} vissza InfelmTetelek-hez ==Információs diverge…”