InfElmTetel39

Ez az oldal a korábbi SCH wikiről lett áthozva.

Ha úgy érzed, hogy bármilyen formázási vagy tartalmi probléma van vele, akkor, kérlek, javíts rajta egy rövid szerkesztéssel!

Ha nem tudod, hogyan indulj el, olvasd el a migrálási útmutatót.

vissza InfelmTetelek-hez <style> li {margin-top: 4px; margin-bottom: 4px;} </style>

Információs divergencia

Definíció

Másnéven Kullback-Liebler távolság.

Tekintsük a következő valószínűségi eloszlásokat:
$\underset{\_}{p}=(p_1,p_2,...,p_n)$
$\underset{\_}{q}=(q_1,q_2,...,q_n)$

Ezen eloszlások információs divergenciája a következő:

$D(\underset{\_}{p}|\underset{\_}{q})=\sum _{i=1}^n{p}_{i}log\frac{p_i}{q_i}$

Tulandonságai

Pozitív

Az információs divergencia mindig pozitív.
$0\le D(\underset{\_}{p}|\underset{\_}{q})$

Bizonyítás:
TODO: definíció szerint, majd a Jensen egyenlőtlenség követkeményével.

Nulla

$0=D(\underset{\_}{p}|\underset{\_}{q})$ acsa. ha a két valószínűségi eloszlás megegyezik.

Ismeretlen nevű tulajdonság

Egy adott eloszlás entrópiájának és az egyenletes eloszlásra vonatkozó információs divergenciájának összege mindig $logn$

$\underset{\_}{u}=(u_1,u_2,...,u_n),$ ahol $\mathrm{\forall }i:u_i=1/n$

$H(p)=logn-D(\underset{\_}{p}|\underset{\_}{u})$

Bizonyítás:

TODO: Behelyettesítünk az entrópia és az információs divergencia képletébe. A inf. div. nél a logaritmusban a hányados szerint az egész szummát két szumma kölönbségévé alakítjuk. Az egyenletes eloszlás 1/n-jét behelyettesítjük. A többi kiesik. Szevasztok.

-- Sales - 2006.06.27.