Űrkommunikáció - ZH kvíz
A VIK Wikiből
Egy prefix kód, melynél a kódszavak hosszára vonatkozó Kraft egyenlőtlenség
- szigorúan kisebb feltétel teljesülése esetén információvesztés nélkül a kódszavak rövidítésével prefix kompletté tehető.
- szigorúan egyenlőséggel teljesül, az prefix komplett.
- szigorúan kisebb feltétellel teljesül, az prefix redundáns.
- szigorúan egyenlőséggel teljesülése esetén információvesztés nélkül a kódszavak rövidítésével prefix kompletté tehető.
Egy diszkrét szimbólumforrás entrópia-forráskódolása esetén
- a dekódolhatóság egyik szükséges feltétele az üzenetszavak és a kódszavak kölcsönösen egyértelmű összerendelése.
- a dekódolhatóság egyik elégséges feltétele, hogy semelyik kódszó sem lehet folytatása egy másik érvényes kódszónak az forrásszavak és a kódszavak kölcsönösen egyértelmű Összerendelése mellett.
- a kódolás célja a redundancia csökkentése, azaz a tömörítés.
- mindig olyan fix hosszú kódszavakat állítunk elő, amik hosszabbak az üzenetszavaknál, hogy ne lépjen fel információvesztés.
Shannon I. tétele (Forráskódolás tétele) kimondja, hogy egy kimenetű diszkrét memóriamentes forrás (DMS) kódolása esetén az átlagos kódszó-hossz
- minden esetben nagyobb X entrópiájánál.
- nagyobb vagy egyenlő X entrópiájánál.
- egész szám lesz, ha minden esemény valószínűsége 2 valamely negatív egész hatványa.
- az X lehetséges értékeinek számával megegyező, ha az nagyobb vagy egyenlő, mint X entrópiája.
Egy diszkrét valószínűségi változó esetén
- az entrópia normális eloszlás esetén maximális, azaz
- az entrópia alsó és felső korlátja is létezik.
- az entrópia egyenletes eloszlás esetén maximális, azaz .
- a redundancia Értelmezés sikertelen (SVG (a MathML egy böngészőkiegészítővel engedélyezhető): Érvénytelen válasz („Math extension cannot connect to Restbase.”) a(z) https://wikimedia.org/api/rest_v1/ szervertől:): {\displaystyle R(X) = H_0(X) − H(X)} .
Diszkrét, legalább gyenge értelemben (WSS) stacionárius, memóriával rendelkező forrás esetén
- Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Huffman kódolást forráskiterjesztéssel alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva csak a forrásszimbólumok elsőrendű eloszlásának ismerete szükséges.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete.
Azonos eseménytér felett értelmezett két diszkrét valószínűségi változó, X és Y esetén a relatív entrópia (Kullback-Leibler távolság)
- csak akkor határozható meg ha X és Y eloszlása megegyezik
- D(P(X)) || P(Y)) a P(X) és P(Y) eloszlások “hasonlóságának mértéke
- D(P(X,Y) || P(Y,X)) = 0 bármely P(X) és P(Y) eloszlás esetén
- D(P(X,Y) || P(X)P(Y)) = 0, ha X és Y függetlenek
Egy stohasztikus folyamat erős stacionaritásának szükséges, de nem feltétlenül elégséges feltétele, hogy
- elsőrendű valószínűségi függvénye az időben állandó legyen.
- másodrendű valószínűségi függvénye a t = 5 szekundum időbeni eltolásra invariáns legyen.
- k-adrendű valószínűségi eloszlásfüggvénye bármely t időbeni eltolásra invariáns legyen.
- várható értéke időfüggetlen legyen.
A bináris aritmetikai kód
- a [0, 1) intervallumon a legnagyobb valószínüségű forrásszimbólumhoz a legkisebb részintervallumot rendeli.
- egy "STOP" szimbólummal végződő forrásszimbólum-sorozathoz a hozzá tartozó részintervallumba eső legrövidebb kettedes tört kettedes pont utáni bitjeit rendeli, mint kód.
- igényli az elsőrendű forráseloszlás a-priori ismeretét.
- a "STOP" Szimbólumon kívül további járulékos biteket (redundanciát) fűz a forrás bitjeihez.
Diszkrét, legalább gyenge értelemben (WSS) stacionárius, memóriával rendelkező forrás esetén
- Huffman kódolást forráskiterjesztéssel alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva csak a forrásszimbólumok elsőrendű eloszlásának ismerete szükséges.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete.
- Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás # feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
Források Entrópia kódolását Shannon algoritmusával végezve (Entropy Coding, Type II)
- az algoritmus első lépéseként meghatározzuk a kódszavak hosszát.
- az algoritmus második lépésére egy lehetséges lejárás az úgynevezett lexikográfiai módszer.
- az algoritmus második lépésére egy lehetséges lejárás az úgynevezett kumulatív valószínűség módszere.
- fix hosszú forrásszavakat változó hosszú kódszavakká kódolunk.
A bináris aritmetikai kód dekódolható, ha
- a forrás szimbólumkészletét (a forrás-ABC-t) kiegészítjük egy megfelelően választott valószínűségű "STOP" szimbólummal, ami a kódolandó forrásszimbólum-sorozat végét jelzi.
- a szimbólumok egy adott hosszúságú sorozatát kódoljuk mindig egy kódszóba.
- azonos hosszúságú kódszavakat állítunk elő, azaz a szimbólumsorozat kódolását akkor hagyjuk abba, ha egy adott kettedestört-hosszat elértünk.
- mindig két forrásszimbólumot kódolunk, mivel a kód bináris.
Egy diszkrét valószínűségi változó esetén
- az esemény információ tartama feltétlenül .
- az esemény információ tartama feltétlenül .
- a valószínűségű esemény információ tartama feltétlenül .
- a valószínűségű esemény információ tartama feltétlenül .
Egy legalább k-ad rendben stacionárius, diszkrét forrás k darab szimbólumát tekintve, ha a forrás
- memóriamentes (DMS), akkor a együttes entrópia k növelésével szigorúan monoton nő.
- memóriamentes (DMS), akkor a feltételes entrópia k növelésével szigorúan monoton csökkenő.
- memóriával rendelkezik, akkor a feltételes entrópia k növelésével monoton csökkenő.
- memóriával rendelkezik, akkor a együttes entrópia kisebb, mint memóriamentes (DMS) esetben.
Két diszkrét valószínűségi változó, és esetén
- ha , akkor esemény információ tartama feltétlenül nagyobb, mint eseményé.
- ha , akkor esemény információ tartama feltétlenül kisebb, mint eseményé.
- ha egyenletes eloszlású és ettől eltérő eloszlású, akkor .
- az azonos értékű események információ tartama felétlenül azonos.