„Űrkommunikáció - ZH kvíz” változatai közötti eltérés
Ugrás a navigációhoz
Ugrás a kereséshez
28. sor: | 28. sor: | ||
# Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete. | # Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete. | ||
# Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás # feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete. | # Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás # feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete. | ||
+ | |||
+ | == Források Entrópia kódolását Shannon algoritmusával végezve (Entropy Coding, Type II) == | ||
+ | {{Kvízkérdés|típus=több|válasz=1,2,3,4}} | ||
+ | # az algoritmus első lépéseként meghatározzuk a kódszavak hosszát. | ||
+ | # az algoritmus második lépésére egy lehetséges lejárás az úgynevezett lexikográfiai módszer. | ||
+ | # az algoritmus második lépésére egy lehetséges lejárás az úgynevezett kumulatív valószínűség módszere. | ||
+ | # fix hosszú forrásszavakat változó hosszú kódszavakká kódolunk. | ||
+ | |||
+ | == A bináris aritmetikai kód dekódolható, ha == | ||
+ | {{Kvízkérdés|típus=több|válasz=1}} | ||
+ | # a forrás szimbólumkészletét (a forrás-ABC-t) kiegészítjük egy megfelelően választott valószínűségű "STOP" szimbólummal, ami a kódolandó forrásszimbólum-sorozat végét jelzi. | ||
+ | # a szimbólumok egy adott hosszúságú sorozatát kódoljuk mindig egy kódszóba. | ||
+ | # azonos hosszúságú kódszavakat állítunk elő, azaz a szimbólumsorozat kódolását akkor hagyjuk abba, ha egy adott kettedestört-hosszat elértünk. | ||
+ | # mindig két forrásszimbólumot kódolunk, mivel a kód bináris. | ||
+ | |||
+ | == Egy diszkrét valószínűségi változó <math>X</math> esetén == | ||
+ | {{Kvízkérdés|típus=több|válasz=3}} | ||
+ | # az <math>X_i = 1</math> esemény információ tartama feltétlenül <math>I(x_i) = 1</math>. | ||
+ | # az <math>x_i = 1</math> esemény információ tartama feltétlenül <math>I(x_i) = 0</math>. | ||
+ | # a <math>p(x_i) = 1</math> valószínűségű esemény információ tartama feltétlenül <math>I(x_i) = 0</math>. | ||
+ | # a <math>p(x_i) = 1</math> valószínűségű esemény információ tartama feltétlenül <math>I(x_i) = 1</math>. | ||
+ | |||
+ | == Egy legalább k-ad rendben stacionárius, diszkrét forrás k darab szimbólumát <math>(X_1, X_2, ..., X_k)</math> tekintve, ha a forrás == | ||
+ | {{Kvízkérdés|típus=több|válasz=1,3,4}} | ||
+ | # memóriamentes (DMS), akkor a <math>H(X_1, X_2, ..., X_k)</math> együttes entrópia k növelésével szigorúan monoton nő. | ||
+ | # memóriamentes (DMS), akkor a <math>H(X_k|X_1, X_2,....., X_{k-1})</math> feltételes entrópia k növelésével szigorúan monoton csökkenő. | ||
+ | # memóriával rendelkezik, akkor a <math>H(X_k|X_1, X_2,..., X_{k-1})</math> feltételes entrópia k növelésével monoton csökkenő. | ||
+ | # memóriával rendelkezik, akkor a <math>H(X_1, X_2, ..., X_k)</math> együttes entrópia kisebb, mint memóriamentes (DMS) esetben. | ||
+ | |||
+ | == Két diszkrét valószínűségi változó, <math>X</math> és <math>Y</math> esetén == | ||
+ | {{Kvízkérdés|típus=több|válasz=1}} | ||
+ | # ha <math>p(x_i) < p(y_j)</math>, akkor <math>x_i</math> esemény információ tartama feltétlenül nagyobb, mint <math>y_j</math> eseményé. | ||
+ | # ha <math>x_i < y_j</math>, akkor <math>x_i</math> esemény információ tartama feltétlenül kisebb, mint <math>y_j</math> eseményé. | ||
+ | # ha <math>X</math> egyenletes eloszlású és <math>Y</math> ettől eltérő eloszlású, akkor <math>H(X) < H(Y)</math>. | ||
+ | # az azonos értékű események <math>(x_i = y_j)</math> információ tartama felétlenül azonos. |
A lap 2023. június 6., 06:31-kori változata
Tartalomjegyzék
- 1 Azonos eseménytér felett értelmezett két diszkrét valószínűségi változó, X és Y esetén a relatív entrópia (Kullback-Leibler távolság)
- 2 Egy stohasztikus folyamat erős stacionaritásának szükséges, de nem feltétlenül elégséges feltétele, hogy
- 3 A bináris aritmetikai kód
- 4 Diszkrét, legalább gyenge értelemben (WSS) stacionárius, memóriával rendelkező forrás esetén
- 5 Források Entrópia kódolását Shannon algoritmusával végezve (Entropy Coding, Type II)
- 6 A bináris aritmetikai kód dekódolható, ha
- 7 Egy diszkrét valószínűségi változó [math]X[/math] esetén
- 8 Egy legalább k-ad rendben stacionárius, diszkrét forrás k darab szimbólumát [math](X_1, X_2, ..., X_k)[/math] tekintve, ha a forrás
- 9 Két diszkrét valószínűségi változó, [math]X[/math] és [math]Y[/math] esetén
Azonos eseménytér felett értelmezett két diszkrét valószínűségi változó, X és Y esetén a relatív entrópia (Kullback-Leibler távolság)
- csak akkor határozható meg ha X és Y eloszlása megegyezik
- D(P(X)) || P(Y)) a P(X) és P(Y) eloszlások “hasonlóságának mértéke
- D(P(X,Y) || P(Y,X)) = 0 bármely P(X) és P(Y) eloszlás esetén
- D(P(X,Y) || P(X)P(Y)) = 0, ha X és Y függetlenek
Egy stohasztikus folyamat erős stacionaritásának szükséges, de nem feltétlenül elégséges feltétele, hogy
- elsőrendű valószínűségi függvénye az időben állandó legyen.
- másodrendű valószínűségi függvénye a [math]\Delta[/math]t = 5 szekundum időbeni eltolásra invariáns legyen.
- k-adrendű valószínűségi eloszlásfüggvénye bármely [math]\Delta[/math]t időbeni eltolásra invariáns legyen.
- várható értéke időfüggetlen legyen.
A bináris aritmetikai kód
- a [0, 1) intervallumon a legnagyobb valószínüségű forrásszimbólumhoz a legkisebb részintervallumot rendeli.
- egy "STOP" szimbólummal végződő forrásszimbólum-sorozathoz a hozzá tartozó részintervallumba eső legrövidebb kettedes tört kettedes pont utáni bitjeit rendeli, mint kód.
- igényli az elsőrendű forráseloszlás a-priori ismeretét.
- a "STOP" Szimbólumon kívül további járulékos biteket (redundanciát) fűz a forrás bitjeihez.
Diszkrét, legalább gyenge értelemben (WSS) stacionárius, memóriával rendelkező forrás esetén
- Huffman kódolást forráskiterjesztéssel alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva csak a forrásszimbólumok elsőrendű eloszlásának ismerete szükséges.
- Lempel-Ziv kódolást (LZ77 vagy LZ78) alkalmazva nem szükséges a forrás feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete.
- Shannon-Fano kódolást forráskiterjesztés nélkül alkalmazva nem szükséges a forrás # feltételes entrópiáinak (ezzel persze együttes eloszlásainak) ismerete, csak a forrásszimbólumok elsőrendű eloszlásának ismerete.
Források Entrópia kódolását Shannon algoritmusával végezve (Entropy Coding, Type II)
- az algoritmus első lépéseként meghatározzuk a kódszavak hosszát.
- az algoritmus második lépésére egy lehetséges lejárás az úgynevezett lexikográfiai módszer.
- az algoritmus második lépésére egy lehetséges lejárás az úgynevezett kumulatív valószínűség módszere.
- fix hosszú forrásszavakat változó hosszú kódszavakká kódolunk.
A bináris aritmetikai kód dekódolható, ha
- a forrás szimbólumkészletét (a forrás-ABC-t) kiegészítjük egy megfelelően választott valószínűségű "STOP" szimbólummal, ami a kódolandó forrásszimbólum-sorozat végét jelzi.
- a szimbólumok egy adott hosszúságú sorozatát kódoljuk mindig egy kódszóba.
- azonos hosszúságú kódszavakat állítunk elő, azaz a szimbólumsorozat kódolását akkor hagyjuk abba, ha egy adott kettedestört-hosszat elértünk.
- mindig két forrásszimbólumot kódolunk, mivel a kód bináris.
Egy diszkrét valószínűségi változó [math]X[/math] esetén
- az [math]X_i = 1[/math] esemény információ tartama feltétlenül [math]I(x_i) = 1[/math].
- az [math]x_i = 1[/math] esemény információ tartama feltétlenül [math]I(x_i) = 0[/math].
- a [math]p(x_i) = 1[/math] valószínűségű esemény információ tartama feltétlenül [math]I(x_i) = 0[/math].
- a [math]p(x_i) = 1[/math] valószínűségű esemény információ tartama feltétlenül [math]I(x_i) = 1[/math].
Egy legalább k-ad rendben stacionárius, diszkrét forrás k darab szimbólumát [math](X_1, X_2, ..., X_k)[/math] tekintve, ha a forrás
- memóriamentes (DMS), akkor a [math]H(X_1, X_2, ..., X_k)[/math] együttes entrópia k növelésével szigorúan monoton nő.
- memóriamentes (DMS), akkor a [math]H(X_k|X_1, X_2,....., X_{k-1})[/math] feltételes entrópia k növelésével szigorúan monoton csökkenő.
- memóriával rendelkezik, akkor a [math]H(X_k|X_1, X_2,..., X_{k-1})[/math] feltételes entrópia k növelésével monoton csökkenő.
- memóriával rendelkezik, akkor a [math]H(X_1, X_2, ..., X_k)[/math] együttes entrópia kisebb, mint memóriamentes (DMS) esetben.
Két diszkrét valószínűségi változó, [math]X[/math] és [math]Y[/math] esetén
- ha [math]p(x_i) \lt p(y_j)[/math], akkor [math]x_i[/math] esemény információ tartama feltétlenül nagyobb, mint [math]y_j[/math] eseményé.
- ha [math]x_i \lt y_j[/math], akkor [math]x_i[/math] esemény információ tartama feltétlenül kisebb, mint [math]y_j[/math] eseményé.
- ha [math]X[/math] egyenletes eloszlású és [math]Y[/math] ettől eltérő eloszlású, akkor [math]H(X) \lt H(Y)[/math].
- az azonos értékű események [math](x_i = y_j)[/math] információ tartama felétlenül azonos.