Űrkommunikáció - ZH kvíz
A VIK Wikiből
Azonos eseménytér felett értelmezett két diszkrét valószínűségi változó, X és Y esetén a relatív entrópia (Kullback-Leibler távolság)
- csak akkor határozható meg ha X és Y eloszlása megegyezik
- D(P(X)) || P(Y)) a P(X) és P(Y) eloszlások “hasonlóságának mértéke
- D(P(X,Y) || P(Y,X)) = 0 bármely P(X) és P(Y) eloszlás esetén
- D(P(X,Y) || P(X)P(Y)) = 0, ha X és Y függetlenek
Egy stohasztikus folyamat erős stacionaritásának szükséges, de nem feltétlenül elégséges feltétele, hogy
- elsőrendű valószínűségi függvénye az időben állandó legyen.
- másodrendű valószínűségi függvénye a t = 5 szekundum időbeni eltolásra invariáns legyen.
- k-adrendű valószínűségi eloszlásfüggvénye bármely t időbeni eltolásra invariáns legyen.
- várható értéke időfüggetlen legyen.
A bináris aritmetikai kód
- a [0, 1) intervallumon a legnagyobb valószínüségű forrásszimbólumhoz a legkisebb részintervallumot rendeli.
- egy "STOP" szimbólummal végződő forrásszimbólum-sorozathoz a hozzá tartozó részintervallumba eső legrövidebb kettedes tört kettedes pont utáni bitjeit rendeli, mint kód.
- igényli az elsőrendű forráseloszlás a-priori ismeretét.
- a "STOP" Szimbólumon kívül további járulékos biteket (redundanciát) fűz a forrás bitjeihez.
Diszkrét, legalább gyenge értelemben (WSS) stacionárius, memóriával rendelkező forrás esetén
- Huffman kódolást forráskiterjesztéssel alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva csak a forrásszimbólumok elsőrendű eloszlásának ismerete szükséges.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete.
- Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás # feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.