- Stahuj zápisky z přednášek a ostatní studijní materiály
- Zapisuj si jen kvalitní vyučující (obsáhlá databáze referencí)
- Nastav si své předměty a buď stále v obraze
- Zapoj se svojí aktivitou do soutěže o ceny
- Založ si svůj profil, aby tě tví spolužáci mohli najít
- Najdi své přátele podle místa kde bydlíš nebo školy kterou studuješ
- Diskutuj ve skupinách o tématech, které tě zajímají
Studijní materiály
Hromadně přidat materiály
TI - příklady
A0B01PSI - Pravděpodobnost, statistika a teorie informace
Hodnocení materiálu:
Vyučující: Ing. Tomáš Kroupa Ph.D.
Popisek: Řešené příklady od Tomáše Kroupy z teorie informace. Typovky do písemky.
Zjednodušená ukázka:
Stáhnout celý tento materiálí p a kód C2 je optimální pro
zdroj s pravděpodobnostní funkcí q. Pokud užijeme kód C1 pro zdroj popsaný pomocí q, jaké
chyby se dopustíme?
2
Řešení
Příklad 1. Průměrný počet otázek je při každé strategii jejich kladení zdola omezen entropií.
V tomto případě hledáme entropii náhodné veličiny X, která nabývá 366 hodnot, z toho 365
hodnot je stejně pravděpodobných a zbývající hodnota je 4 -méně pravděpodobná (přestupný
den jednou za čtyři roky):
pX(x) =
{
4
4 365+1; x 2 f1;:::;365g;
1
4 365+1; x = 366:
Z toho dostaneme entropii H(X) := 8:51 bitů. Horší odhad nutného počtu otázek je 9 = ⌈log366⌉,
neboť stačí určit prvek množiny o 366 možných prvcích.
Příklad 2. Symetrii kostek budeme přirozeně hodnotit pomocí entropie. Tak dostaneme pro jed-
notlivé kostky
H(p) = 3 38 log3 := 2:406;
H(q) = 2:5:
Volíme tedy druhou kostku.
Losujeme-li kostku před začátkem hry, dostaneme pravděpodobnosti popsané vektorem r,
který odpovídá směsi (s koeficientem 12) dvou původních diskrétních rozdělení popsaných pomocí
p a q:
r = 12p + 12q =
( 3
16;
3
16;
2
16;
2
16;
2
16;
4
16
)
:
Potom platí
H(r) = 25 3log38 := 2:531:
Losování kostky na začátku tedy vede k nejvyšší entropii a tudíž k nejvyšší symetrii výsledků hry.
Tento způsob již zaručuje entropii blízkou symetrické kostce, jejíž entropie je maximální a rovna
log6 = 1 + log3 := 2:585:
Příklad 3. Rozdělení informačního zdroje X s abecedou f ; g je na vstupu popsáno rovnoměrnou
pravděpodobnostní funkcí pX. Podmíněné pravděpodobnosti pY jX(yjx), x;y 2 f ; g, vyjadřující
možnou záměnu symbolu jsou dány maticí
(0:92 0:08
0:02 0:98
)
:
Nejprve určíme zpětné podmíněné pravděpodobnosti pXjY (xjy) pomocí Bayesova vzorce:
pXjY (xjy) = pY jX(yjx)pX(x)∑
x′2f ; g
pY jX(yjx′)pX(x′):
Potom vzájemnou informaci:
I(X;Y ) = H(X) H(XjY ) = 0:725:
3
Ve zprávě o 154 bitech se tak za předpokladu nezávislosti vysílaných znaků zachová přibližně
154 0:725 = 112 bitů.
Příklad 4. Maximum podmíněné entropie H(Y jX = ai) se pro každé i = 1;:::;4 nabývá pro
rovnoměrnou podmíněnou pravděpodobnostní funkci:
pY jX(ajjai) = 14; j = 1;:::;4:
Proto platí
H(Y jX) =
4∑
i=1
pX(ai) H(Y jX = ai) = log4
4∑
i=1
pX(ai) = 2:
Rozdělení zdroje Y je též rovnoměrné, neboť pro každé i = 1;:::;4 platí
pY (ai) =
4∑
j=1
pY jX(aijaj)pX(aj) = 14
4∑
j=1
pX(aj) = 14:
Tudíž H(Y ) = log4 = 2 a proto I(X;Y ) = 0.
Příklad 5. Nejprve nalezneme stacionární rozdělení p = (p1;p2;p3) Markovova řetězce zadaného
maticí P. Řešíme soustavu lineárních rovnic
p = pP;
p1 + p2 + p3 = 1:
Jejím řešením je vektor p = (25; 25; 15). Informační zdroj X1;X2;::: je markovský, pokud pro jeho
počáteční rozdělení p(0) platí p(0) = p. Potom je rychlost entropie tohoto zdroje rovna střední
podmíněné entropii H(X2jX1).
Vloženo: 28.01.2011
Velikost: 63,78 kB
Komentáře
Tento materiál neobsahuje žádné komentáře.
Mohlo by tě zajímat:
Skupina předmětu A0B01PSI - Pravděpodobnost, statistika a teorie informace
Reference vyučujících předmětu A0B01PSI - Pravděpodobnost, statistika a teorie informace
Reference vyučujícího Ing. Tomáš Kroupa Ph.D.
Podobné materiály
- X01ALG - Úvod do algebry - Řesene priklady
- X01MA1 - Matematika 1 - Příklady a řešení funkce a jejich derivace
- X01MA1 - Matematika 1 - Příklady a řešení algebra,mno·iny, posloupnosti
- X01MA1 - Matematika 1 - Příklady a řešení funkce, limity
- X01MA1 - Matematika 1 - Příklady a řešení integrály
- X01MA1 - Matematika 1 - Příklady a řešenínevlastní integrály, aplikace, optimalizace, posloupnosti
- X01MA1 - Matematika 1 - Příklady k procvičení Tkadlec
- X01MA2 - Matematika 2 - Příklady a řešení Laplaceova transformace, řady
- X01MA2 - Matematika 2 - Příklady a řešení obyčejné diferenciální rovnice
- X01MA2 - Matematika 2 - Příklady Fourierovi řady
- X01MA2 - Matematika 2 - Příklady Sobotíková
- X01MA2 - Matematika 2 - Příklady
- X01MA2 - Matematika 2 - Řešené příklady ke zkoušce Sobotíková
- X02FY1 - Fyzika 1 - Další příklady Bednařík
- X02FY1 - Fyzika 1 - Příklady a řešení
- X02FY1 - Fyzika 1 - Příklady na Lagrangeovy rovnice 2. druhu
- X02FY1 - Fyzika 1 - Příklady
- X12UEM - Úvod do elektrotechnických materiálů - Příklady z materiálů
- X12UEM - Úvod do elektrotechnických materiálů - Příklady z přednášek
- X31EO1 - Elektrické obvody 1 - Příklady ke zkoušce
- X31EO1 - Elektrické obvody 1 - Příklady
- X31EO2 - Elektrické obvody 2 - Příklady 1
- X31EO2 - Elektrické obvody 2 - Příklady 2
- X31EO2 - Elektrické obvody 2 - Vypracované příklady
- 01M4 - Matematika 4 - Řešené příklady z pravděpodobnosti
- X35ESY - Elektronické systémy - Řešené příklady II
- X35ESY - Elektronické systémy - Řešené příklady III
- X35ESY - Elektronické systémy - Řešené příklady z přednášek
- X01MA2 - Matematika 2 - Řešené písemkové příklady Kalousova
- 01M2 - Matematika 2 - ukazkove priklady ku skuske
- 01UA - Úvod do algebry - pisomkove priklady s riesenim uloh
- 01M1 - Matematika 1 - vzorove priklady ku skuske
- 01M1 - Matematika 1 - vzorove priklady ku skuske
- X12UEM - Úvod do elektrotechnických materiálů - tahak na priklady
- X12UEM - Úvod do elektrotechnických materiálů - riesene priklady
- X12UEM - Úvod do elektrotechnických materiálů - priklady aj s odpovedami
- X17TEP - Teorie elektromagnetického pole - priklady ku skuske odporucane a prepocitane
- X31EOS - Elektronické obvody pro sdělovací techniku - prepocitane priklady na skusku
- X31EOS - Elektronické obvody pro sdělovací techniku - prepocitane priklady na skusku ina varianta
- X34ESS - Elektronické součástky a struktury - priklady
- 01M2 - Matematika 2 - priklady k prvej pisomke v semestri
- 01M2 - Matematika 2 - priklady k prvej pisomke v semestri
- 01M2 - Matematika 2 - priklady k druhej pisomke v semestri
- 01M2 - Matematika 2 - priklady k druhej pisomke v semestri
- 01M2 - Matematika 2 - priklady s riesenim ku skuske
- 01M2 - Matematika 2 - priklady s riesenim ku skuske
- 01M2 - Matematika 2 - riesene priklady z laplacky
- X01ALG - Úvod do algebry - riesene priklady
Copyright 2024 unium.cz