Hírközléselmélet 1.z - Kvíz - 1. ZH
A VIK Wikiből
Két diszkrét valószínűségi változó, és esetén
- az azonos értékű események (xi = yj) információ tartama felétlenül azonos.
- ha p(xi) < p(yj), akkor xi esemény információ tartama feltétlenül nagyobb, mint yj eseményé.
- ha X egyenletes eloszlású és Y eltérő eloszlású, akkor H(X) < H(Y).
- ha xi < yj, akkor xi esemény információtartalma feltétlenülkisebb, mint yj eseményé.
Egy legalább k-ad rendben stacionárius, diszkrét forrás k darab szimbólumát (X1, X2, ...,Xk) tekintve, ha a forrás
- memóriával rendelkezik, akkor a H(X1, X2, ...,Xk) együttes entrópia kisebb, mint memóriamentes (DMS) esetben.
- memóriamentes (DMS), akkor a H(Xk|X1, X2, ...,Xk-1) feltételes entrópia k növelésével szigorúan monoton csökkenő.
- memóriamentes (DMS), akkor a H(X1, X2, ...,Xk) együttes entrópia k növelésével szigorúan monoton nő.
- memóriával rendelkezik, akkor a H(Xk|X1, X2, ...,Xk-1) feltételes entrópia k növelésével monoton csökkenő.
Egy diszkrét szimbólumforrás (mint sztochasztikus folyamat) a redundanciát nem kihasználó (pl. ASCII) kódolása esetén
- bináris kódok generálásakor a kódszavak bitjeinek száma mindenképpen nagyobb vagy egyenlő a lehetséges forrásszimbólumok számánál.
- fix hosszú forrásszimbólum sorozatot kódolunk fix hosszú kódszavakká.
- a kódráta R[bit/szimbólum] a forrásszimbólum-vektor hosszának növelésével Shannon I. tétele értelmében a folyamat H∞(X) entrópiájához tart.
- ha szimbólumonként kódolunk, akkor a kódszó-hossz feltétlenül megegyezik a lehetséges forrásszimbólumok számával.
Egy legalább k-ad rendben stacionárius, diszkrét forrás k darab szimbólumát (X1, X2, ...,Xk) tekintve, ha a forrás
- memóriamentes (DMS), akkor a Hk(X) egy szimbólumra eső entrópia nagyobb, mint a H(Xk|X1, X2, ...,Xk-1) feltételes entrópia.
- memóriával rendelkezik, akkor a Hk(X) egy szimbólumra eső entrópia nagyobb vagy egyenlő, mint a H(Xk|X1, X2, ...,Xk-1) feltételes entrópia.
- memóriamentes (DMS), akkor a Hk(X) egy szimbólumra eső entrópia k növelésével szigorúan monoton csökkenő.
- memóriamentes (DMS), akkor a Hk(X) egy szimbólumra eső entrópia k növelésével nem változik.
Egy diszkrét szimbólumforrás (mint sztochasztikus folyamat) entrópiaforráskódolása esetén
- mindig olyan fix hosszú kódszavakat állítunk elő, amik hosszabbak az üzenetszavaknál, hogy ne lépjen fel információvesztés.
- a kódolás célja a redundancia csökkentése, azaz a tömörítés.
- a dekódolhatóság egyik szükséges feltétele az üzenetszavak és a kódszavak kölcsönösen egyértelmű összerendelése.
- a dekódolhatóság egyik elégséges feltétele, hogy semelyik kódszó sem lehet folytatása egy másik érvényes kódszónak az üzenetszavak és a kódszavak kölcsönösen egyértelmű összerendelése mellett.
