tahak

každého z nich je ¼, pro stejnou prvd. je nejistota
největší) entropie je potom H(s)=log
2
(N), pokud tedy P(x
i
) = 1/N.

Shannonovy teorémy:

1) Věta o zdrojovém kódování

Teorém zdrojového kódování:
Počet bitů, nezbytných k jednoznačnému popisu určitého zdroje dat, se může vhodným
kódováním blížit k odpovídajícímu informačnímu obsahu tak těsně, jak je požadováno.

Jedná se o záležitost, která posuzuje, jak nejlépe a nejefektivněji zakódovat nějaký zdroj
informace (zdrojová data). K tomu je třeba znát statistiku zdroje. Například máme písmeno
abecedy a. To se vyskytuje ve zprávách (textech) velmi často a proto je vhodné ho zakódovat
(např. Morseovou abecedou) jako jeden z krátkých prvků (.-). Písmena s malým výskytem
v textech např. Q se kódují dlouhým prvkem (--.-), jako jiný případ lze uvést různé počty bitů
(podle prvd.) při kódování Huffmanovým kódem. Získáváme tedy kódy s proměnnou délkou
slova-prvku, což je efektivní.

V souvislosti s tím lze mluvit o účinnosti kódování a jednoznačné dekódovatelnosti. Průměrná
délka slova po zakódování
∑
−
=
=
1
0
)().(
N
i
ii
xlxPL (l-délka slova v bitech). Minimální možná
průměrná délka slova L
min
. Účinnost kódování je
L
L
min
=η ( 1
min
≤⇒≥ ηLL ). A L
min
lze určit
pomocí entropie ( )(sHL ≥ ) z toho a lze tedy psát )(
min
sHL =
L
sH )(
=η .
Věta o jednoznačné dekódovatelnosti [2]:
Kódování je jednoznačně dekódovatelné, jestliže ze znalosti zakódované zprávy lze vždy
jednoznačně odvodit zdrojovou zprávu. Mc Millanova věta: Pro každé jednoznačně
dekódovatelné kódování platí Kraftova nerovnost ( ). 1...
21
≤++
−− ll
nn


2) Věta o kanálovém kódování

Teorém kanálového kódování: Frekvence výskytu chyb v datech přenášených pásmově
omezeným kanálem se šumem může být vhodným kódováním dat redukována na
libovolně malou hodnotu, pokud je rychlost přenosu informace menší než činí kapacita
přenosového kanálu.

V šumovém kanále s kapacitou C můžeme pro zdroj informace s entropií H za předpokladu
H < C nalézt takový způsob kódování dlouhých zpráv, že pravdě podobnost výskytu chyby Pe
je menší než předem dané libovolně malé číslo >0, avšak nikoliv rovna nule.

Protože se k užitečným datům v kanálu přidává šum a ten může způsobovat, že je prvek
vyhodnocen jinak než by měl, je nutné data (zdrojově kódovaná) kódovat i kanálově
(konvoluční a blokové kódy) s tím rozdílem, že zdrojové kódování odstraňovalo redundanci,
ale kanálové ji opět přidá (i když třeba ne v takové míře). Předpokládáme, že zdroj vysílá
symbol za dobu Ts, kanál lze použít 1x za dobu Tc. Kapacita kanálu za 1s je C/Tc. Pokud
- 5 -
tedy platí
Tc
C
Ts
sH
≤
)(
, existuje takový způsob kódování zaručující přenos kanálem s libovolnou
chybovostí.

3) Věta o kapacitě kanálu


Obr. 2.3: Situace kanálu se šumem

Je potřeba si definovat vzájemnou informaci I(X,Y), která nám říká jakou informaci o zdroji
získáme pozorováním výstupu kanálu. Je definovaná jako I(X,Y)=I(Y,X)=H(X) –
H(X│Y)=H(Y) - H(Y│X), kde H(X) je nejistota při pozorování zdroje a H(X│Y) nejistota
zbývající po pozorování výstupu kanálu. Toto neříká nic jiného, než že o část informace nás
kanál připraví a část nám dodá jako dezinformaci. Kapacita kanálu je definována jako
maximální vzájemná průměrná informace při jednom použití kanálu C=max[I(X,Y)]. Výraz
H(Y│X) je dán vlastnostmi kanálu – rušivého šumu – to nezměníme, ale můžeme změnit
(najít minimum) H(Y). Veličiny Yk, Xk, Nk, mají normální rozdělení a to známe.
Dosadíme-li do I(Y,X) =H(Y) - H(Y│X)=H(Y) – H(Nk) dostaneme
)1(log)
.
1(log)1(log
2
1
2
0
2
2
2
N
S
B
NB
P
B
P
C
n
+=+=+=
σ
.


Obr. 2.4: Závislost Rb/B na Eb/No


Matice kanálu – vstupní abeceda symbolů spolu s prvd. přijetí správného symbolu lze chápat
jako matici všech možných stavů které mohou na výstupu nastat, včetně chybných příjmů.
Prvd. P(y
i
│x
j
) je příjem správný a pokud je i různé od j tak nastal chybný příjem (obr. 2.5).
Součet prvd. ve sloupci nebo řádku je roven 1.

Obr. 2.5: Matice kanálu
- 6 -
3. Přednáška

Mezisymbolové interference (ISI) – Interference znamená vzájemné ovlivňování, prolínání
nebo střetání jevů či hmoty (nejčastěji vlny), takže v tomto případě se asi jedná o symboly což
je zřejmé. Na vině je kanál a další nutné záležitosti (obr. 3.1), který funguje jako filtr a
vyhladí – prodlouží hrany (to je taky žádáno kvůli omezení spektra), ale jako vedlejší
„produkt“ jsou právě možné ISI. Přesně se říká, že signál o trvání Ts je časově rozptýlen
(disperze) do časového intervalu delšího. Tím že do sebe pak symboly lezou se zvyšuje
náchylnost ke špatnému vyhodnocení symbolu (místo logické H, L a naopak).

Obr. 3.1: Komunikační kanál s filtry

Už bylo řečeno, že symboly budou mít hrany prodlouženy každopádně kvůli omezení spektra,
ale jak se docílí minimalizace ISI? Na obr. 3.1 je kaskáda filtrů (o kanálu řekneme, že je taky
filtr s dost „zmršenou“ tedy nekonstantní v čase i kmitočtu přenosovou charakteristikou typu
pásmová propust – detailněji se tím budeme zabývat u ekvalizace).

Zajištění přenosu bez ISI lze probírat v oblasti časové i kmitočtové.

V časové oblasti:
Kaskádu filtrů na obr. 3.1 lze popsat impulsní odezvou }{ )().().()(
1
fHfCfHFTth
RT
−
= , kde C(f)
uvažujeme 1. Výstupní signál y(t) je dán konvolucí vstupního signálu a impulsní odezvy
kaskády a výstup je vzorkován v okamžicích t)().(.)( tnTkthaty
k
sk
+−=
∑
+∞
−∞=
i
=i.T
s
. to lze zapsat
(jen se dosadí)
∑∑
+∞
≠
−∞=
+∞
−∞=
−+===+−==
ik
k
sskk
k
ssksi
TkTihahakipokudtnTkTihaiTty )..(.)0(.)()..(.)( .
Mimochodem šum n(t) se zanedbal, tak není nutné se hned divit (jako já), že výrazy úplně
nesouhlasí. Výraz
∑
+∞
≠
−∞=
−
ik
k
ssk
TkTiha )..(. je právě ten, který říká že mi do výstupu přispívají také
jiné symboly (to je dílo ISI). Právě tento člen tedy potřebujeme potlačit nebo úplně dostat
nulový. T lze splnit právě tehdy pokud bude impulsní charakteristika nulová, tedy když
v okamžicích T
s
prochází nulou.

Ta 1 při i =k je, aby v tomto případě byl výstupem právě vstupní symbol a
k
a 0 pro i různé od
k pro případy jiné.



- 7 -
Kmitočtová oblast:

Zde platí podobný výraz (jen se jedná o přenos a ne o h(t)). Použije se FT (Fourier transform)
h(t) a získáme , kde f
∑