Űrkommunikáció - ZH kvíz
A VIK Wikiből
Egy diszkrét valószínűségi változó esetén
- az entrópia normális eloszlás esetén maximális, azaz
- az entrópia alsó és felső korlátja is létezik.
- az entrópia egyenletes eloszlás esetén maximális, azaz .
- a redundancia Értelmezés sikertelen (formai hiba): {\displaystyle R(X) = H_0(X) − H(X)} .
Diszkrét, legalább gyenge értelemben (WSS) stacionárius, memóriával rendelkező forrás esetén
- Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Huffman kódolást forráskiterjesztéssel alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva csak a forrásszimbólumok elsőrendű eloszlásának ismerete szükséges.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete.
Azonos eseménytér felett értelmezett két diszkrét valószínűségi változó, X és Y esetén a relatív entrópia (Kullback-Leibler távolság)
- csak akkor határozható meg ha X és Y eloszlása megegyezik
- D(P(X)) || P(Y)) a P(X) és P(Y) eloszlások “hasonlóságának mértéke
- D(P(X,Y) || P(Y,X)) = 0 bármely P(X) és P(Y) eloszlás esetén
- D(P(X,Y) || P(X)P(Y)) = 0, ha X és Y függetlenek
Egy stohasztikus folyamat erős stacionaritásának szükséges, de nem feltétlenül elégséges feltétele, hogy
- elsőrendű valószínűségi függvénye az időben állandó legyen.
- másodrendű valószínűségi függvénye a t = 5 szekundum időbeni eltolásra invariáns legyen.
- k-adrendű valószínűségi eloszlásfüggvénye bármely t időbeni eltolásra invariáns legyen.
- várható értéke időfüggetlen legyen.
A bináris aritmetikai kód
- a [0, 1) intervallumon a legnagyobb valószínüségű forrásszimbólumhoz a legkisebb részintervallumot rendeli.
- egy "STOP" szimbólummal végződő forrásszimbólum-sorozathoz a hozzá tartozó részintervallumba eső legrövidebb kettedes tört kettedes pont utáni bitjeit rendeli, mint kód.
- igényli az elsőrendű forráseloszlás a-priori ismeretét.
- a "STOP" Szimbólumon kívül további járulékos biteket (redundanciát) fűz a forrás bitjeihez.
Diszkrét, legalább gyenge értelemben (WSS) stacionárius, memóriával rendelkező forrás esetén
- Huffman kódolást forráskiterjesztéssel alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva csak a forrásszimbólumok elsőrendű eloszlásának ismerete szükséges.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete.
- Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás # feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
Források Entrópia kódolását Shannon algoritmusával végezve (Entropy Coding, Type II)
- az algoritmus első lépéseként meghatározzuk a kódszavak hosszát.
- az algoritmus második lépésére egy lehetséges lejárás az úgynevezett lexikográfiai módszer.
- az algoritmus második lépésére egy lehetséges lejárás az úgynevezett kumulatív valószínűség módszere.
- fix hosszú forrásszavakat változó hosszú kódszavakká kódolunk.
A bináris aritmetikai kód dekódolható, ha
- a forrás szimbólumkészletét (a forrás-ABC-t) kiegészítjük egy megfelelően választott valószínűségű "STOP" szimbólummal, ami a kódolandó forrásszimbólum-sorozat végét jelzi.
- a szimbólumok egy adott hosszúságú sorozatát kódoljuk mindig egy kódszóba.
- azonos hosszúságú kódszavakat állítunk elő, azaz a szimbólumsorozat kódolását akkor hagyjuk abba, ha egy adott kettedestört-hosszat elértünk.
- mindig két forrásszimbólumot kódolunk, mivel a kód bináris.
Egy diszkrét valószínűségi változó esetén
- az esemény információ tartama feltétlenül .
- az esemény információ tartama feltétlenül .
- a valószínűségű esemény információ tartama feltétlenül .
- a valószínűségű esemény információ tartama feltétlenül .
Egy legalább k-ad rendben stacionárius, diszkrét forrás k darab szimbólumát tekintve, ha a forrás
- memóriamentes (DMS), akkor a együttes entrópia k növelésével szigorúan monoton nő.
- memóriamentes (DMS), akkor a feltételes entrópia k növelésével szigorúan monoton csökkenő.
- memóriával rendelkezik, akkor a feltételes entrópia k növelésével monoton csökkenő.
- memóriával rendelkezik, akkor a együttes entrópia kisebb, mint memóriamentes (DMS) esetben.
Két diszkrét valószínűségi változó, és esetén
- ha , akkor esemény információ tartama feltétlenül nagyobb, mint eseményé.
- ha , akkor esemény információ tartama feltétlenül kisebb, mint eseményé.
- ha egyenletes eloszlású és ettől eltérő eloszlású, akkor .
- az azonos értékű események információ tartama felétlenül azonos.