Přednášky (2)

vádíme testování získané charakteristiky – zda-li jsou statisticky významné
pokud není charakteristika statisticky významná – platí pouze pro výběrový soubor
pokud je charakteristika statisticky významná – platí tedy i v základním souboru a provádíme dále bod 2.
2. provádíme bodové a intervalové odhady vypočtených charakteristik
Regresní přímka
Test hypotézy o korelačním koeficientu
Ho:( = 0(( = ró)
A:( ( 0zjištěná závislost platí v i základním souboru
Testovací kritérium:
( r (
t = -------------- * n – 2
1 – r2
kde: n = rozsah výběrového souboru
r = korelační koeficient výběrového souboru
a jestliže t ( t((n – 2) pak Ho zamítáme na hladině významnosti ( a korelační koeficient považujeme za statisticky významný – tj. zjištěná závislost platí i v základní souboru, ale neznáme její sílu v základním souboru
testovací kritérium se řídí Studentovým rozdělením
můžeme se setkat s tabulkou kritických hodnot korelačního koeficientu – porovnáváme korelační koeficient rovnou s tabulkovou kritickou hodnotou a pokud je korelační koeficient větší (() než tabulková hodnota – pak korelační koeficient považujeme za statisticky významný.
Test hypotézy o regresním koeficientu
Ho: (yx = 0
A : (yx ( 0
Testovací kritérium:
(byx (
t = -----------
s byxsy 1 – r2
kde: s byx = -------- --------
sx n - 2
s byx = směrodatná odchylka souboru výběrových regresních koeficientů. Tento soubor výběrových regresních koeficientů pořídíme ze základního soboru tak, že pořídíme ze základního souboru všechny možné výběrové soubory (těch je však nekonečně mnoho) a v každém výběrovém souboru bychom pak spočítali byx (regresní koeficienty) – u tohoto souboru regresních koeficientů pak spočítáme jeho směrodatnou odchylku
testovací kritérium se řídí t – Studentovým rozdělením
druhý regresní koeficient – bxy – použijeme stejný test, s tím rozdílem, že zaměníme x za y a opačně
lze snadno dokázat, že testovací kritérium pro korelační koeficient a regresní koeficient je stejné (vyjde stejná hodnota) – nemusíme tedy testovat všechny charakteristiky, když např. otestujeme korelační koeficient, pak stejný závěr platí i pro oba sdružené regresní koeficienty
v případě, že zamítáme nulovou hypotézu a zjistíme, že korelační koeficient je statisticky významný, tak nás zajímá, jaká je jeho hodnota v základním souboru – provádíme tedy intervalové a bodové odhady korelačního koeficientu:
Bodový odhad korelačního koeficientu
Intervalový odhad pro ( (korelační koeficient základního souboru) v případě, že n ( 100
jedná se o jednodušší případ
( ( ( r ( u( sr )
s pomocí normálního rozdělení vymezujeme tento interval
1 – r2
sr= --------------
n - 2
sr = směrodatná odchylka souborů výběrových korelačních koeficientů – ze základního souboru vytvoříme všechny možné výběrové soubory a poté vypočteme jejich korelační koeficient = vznikne nám soubor výběrových korelačních koeficientů a nyní nám již zbývá pouze spočítat směrodatnou odchylku
interval spolehlivosti obvykle vymezujeme s 95% nebo 99 % spolehlivostí
čím větší je výběrový soubor, tím se zužuje interval spolehlivosti a má pro nás tedy větší význam
Intervalový odhad pro ( (korelační koeficient základního souboru) v případě, že n ( 100
tento interval spolehlivosti nelze počítat předcházejícím způsobem – nelze totiž provést aproximaci na normální rozdělení
používáme proto tzn. Fisherovu z-transformaci:
1. hodnotu r (výběrový korelační koeficient) na hradíme bezrozměrnou hodnotou zr
v praxi dle tabulek
1 + r
dle následujícího vzorce: zr = ˝ * ln ----------
1 - r
2. dále spočítáme směrodatnou odchylku z hodnot zr
1
sZ r = ------------
n – 3
3. zjistíme interval pro hodnoty Z ( ( zr ( u( sZ r )
4. zpětně dle tabulek nahradíme hodnoty Z hodnotami intervalu pro (
význam transformace - když nahradíme hodnotu r hodnotou zr – tak tyto bezrozměrné veličiny se vždycky řídí alespoň přibližně rozdělením normálním
v případě zjištění, že regresní koeficient u výběrového souboru je statisticky významný, provádíme jeho odhady i pro základní soubor
Bodový odhad regresního koeficientu
(yx = byx
(xy = bxy
Interval spolehlivosti pro sdružené regresní koeficienty
(yx ( ( byx ( t((n – 2) * s byx )
sy 1 – r2
s byx = ------- -------------
sx n – 2
odhad sdruženého regresního koeficientu:
(xy ( ( bxy ( t((n – 2) * s bxy )
sx 1 – r2
s bxy = ------- -------------
sy n – 2
tento odhad se řídí t- rozdělením
dáváme přednost tomuto intervalovému odhadu (působí věrohodněji – pozor na šíři intervalu)
Test hypotézy o dvou korelačních koeficientech
Často se používá
Ho: (1 = (2
A: (1 ( (2
k tomuto testu použijeme Fisherovu z-transformaci:
dle tabulek nahradíme hodnoty r1 hodnotou z1 a dále také r2 hodnotou z2
Testovací kritérium:
z1 – z2
u = -----------------------
11
--------- + ---------
n1 – 3 n2 – 3
testovací kritérium se řídí rozdělením normálním s kritickou hodnotou u(
a jestliže u ( u( pak zamítáme nulovou hypotézu ve prospěch hypotézy alternativní a považujeme rozdíl mezi oběma korelačními koeficienty za statisticky významný
Nelineární (křivková) regrese
Test korelačního indexu
nepoužívá se – nepodařilo se ho zkonstruovat vzhledem k tomu, že výběrový soubor korelačních indexů se ani při velkých rozsazích výběrových souborů neřídí normálním rozdělením – přičemž podmínka normality je podstatná
Test o regresních parametrech
testujeme jím regresní parametry nelineárních regresních funkcí
Ho: (j = 0
A: (j ( 0
Testovací kritérium:
bj
t = ----------
sbj
kde: sbj = odhad směrodatné odchylky teoretického souboru regresních parametrů
1
sbj = sd´ ----------------
( (xi - (x)2
n = rozsah výběrového souboru
k = počet parametrů regresní funkce
sd´ = odhad směrodatné chyby regresního odhadu
( (yi - yi´ )2
sd´ = -----------------
n - 2
testovací kritérium se řídí t – rozdělením
jestliže je t ( t( pak zamítáme nulovou hypotézu ve prospěch hypotézy alternativní, (j ( 0 a regresní parametry tedy považujeme za statisticky významné
Interval spolehlivosti regresních parametrů
(j ( (bj ( t((n – k) * sbj)
Testování regresní funkce jako celku
k testování regresní funkce jako celku bez ohledu na linearitu používáme upravený model analýzy rozptylu
testujeme významnost celé regresní funkce
Ho = regresní funkce jako je statisticky významná
Variabilita
Součty čtverců
Stupeň volnosti
Rozptyly
Testovací kritérium
Regrese
S1 = ( (j=1,..n) (yj´ - (y)2
 p – 1
S1
s12 = ---------- 
p - 1
s12
F = -----------
sr2 
Kolem regrese
Sr =  ( (j=1,..n) (yj - yj´)2
n - p 
  Sr
sr2 = -----------
n - p
p = počet parametrů regresní funkce
jestliže je F ( F(((p – 1) (n – p)( pak zamítáme nulovou hypotézu ve prospěch hypotézy alternativní; regresní funkci jako celek považujeme za statisticky významnou
testovací kritérium se řídí F-rozdělením
Intervalové odhady pro lineární regresní funkce
pás spolehlivosti kolem regresní přímky
v tomto pásu se nachází skutečné (empirické hodnoty)
yi´ ( t((n- 2) * syx
( (yi – yi´)2 ( yi2 – ( yi yi´
Syx = ----------------- = ---------------------
n – 2n - 2
interval spolehlivosti pro ty teoretické hodnoty není rovnoměrný
y
Pás spolehlivosti
x
x = (x (v nejužším místě pásu)
je běžnější
pás vymezuje jak se ty teoretické hodnoty pohybují kolem výběrové regresní funkce
intervalový odhad regresní přímky
pokrývá hledanou regresní přímku základního souboru
y´= ayx + byx * x
( (xi - (x)2
ayx + byx * x ( u( * S(y * 1 + ----------------
sx2
sy
S(y = ----------
(n
pro nelineární regresní funkce neumíme zatím intervaly spolehlivosti stanovit
Vícenásobná regrese a korelace5. přednáška
doposud jsme se zabývali párovými závislostmi, nyní budeme používat vícenásobné modely, kde máme jednu závisle proměnnou y a více nezávisle proměnných
Vícenásobná regrese a korelace
máme závisle proměnnou y a nezávisle proměnnou x1, x2 . . . xk
modely charakterizují závislost y na více nezávisle proměnných najednou
řešíme stejné úkoly jako u párové regrese a korelace
1. vystihnout průběh závislosti – vícenásobná regresní funkce a provádět odhady na základě této funkce
2. měření těsnosti závislosti
výpočty jsou již složitější; nedokážeme si to již představit – dostáváme se do třírozměrného a vícerozměrného prostoru
funkce:
máme dvě nezávisle proměnné a jednu závisle proměnnou – plochy v trojrozměrném prostoru
více nezávisle proměnných a jednu závisle proměnnou – vícenásobná parabola, vícenásobný hyperbola, . . .
Určování typu funkce:
Nesestrojíme již korelační pole
Ze zkušenosti nebo programem, kdy proložíme závislost řadou vícenásobných funkcí
K určování konkrétní funkční rovnice používáme opět metodu nejmenších čtverců (dosadíme do podmínek nejmenších čtverců a po úpravách dostaneme soustavu normálních rovnic)
Vícenásobná lineární regrese
jako geometrický útvar nám vzniká regresní rovina (položíme-li nekonečně mnoho regresních přímek položených vedle sebe)
je nejjednodušší
dokážeme interpretovat vypočtené parametry
regresní přímka pro k – nezávisle proměnných:
y´= ao + byx1 . x2, x3 . . .xk * x1 + byx2 . x1, x3 . . xk * x2 + . . . + byxk . x1, x2 . . xk-1 * xk
prostý člen lineární regresní funkce
byx1 . x2, x3 . . xk = dílčí regresní koeficient, lze ho interpretovat, vyjadřuje o kolik se změní závisle proměnná y, jestliže se nezávisle proměnná uvedená v indexu před tečkou změní o jednotku a ostatní nezávisle proměnné budou konstantní; lze ho použít k odhadu změn
obecná soustava normálních rovnic:
na + b1 ( x1 + b2 ( x2 + . . . + bk ( xk = ( y
a ( x1 + b1 ( x12 + b2 ( x1x2 + . . . + bk ( x1xk = ( x1 y
a ( x2 + b1 ( x1x2 + b2 ( x22 + . . . + bk ( x2xk = ( x2 y
………………………………………………………….
a ( xk + b1 ( x1xk + b2 ( x2xk + . . . + bk ( xk2 = ( xk y
řešíme soustavu k-rovnic o k-neznámých
těsnost závislosti měříme:
Totální = úplný korelační koeficient
Definiční tvar:
sy´ 2
Ry . x1, x2 . . xk = ------------
sy2
měříme těsnost závislosti y na všech nezávisle proměnných xk
vypočtené hodnoty se pohybují v intervalu ( -1;1 (
čím více se hodnota blíží k1 (respektive -1), tím je závislost silnější a čím více se hodnota blíží k 0, tím je závislost slabší
Úplný = totální koeficient determinace
R2
V % udává, z kolika % je závisle proměnná ovlivněna uvažovanými nezávisle proměnnými
Dílčí korelační koeficienty:
ryx1 . x2, x3 . . xk závislost y na x1
ryx2 . x1, x3 . . xk závislost y na x2
vyjadřuje těsnost závislosti vždy na jedné nezávisle proměnné (uvedena v indexu před tečkou) a ostatní považujeme za konstantní
nabývá hodnot v intervalu ( -1;1 (
čím více se hodnota blíží k1 (respektive -1), tím je závislost silnější a čím více se hodnota blíží k 0, tím je závislost slabší
Dílčí koeficienty determinace:
r2yx1 . x2, x3 . . xk závislost y na x1
r2yx2 . x1, x3 . . xk závislost y na x2
udávají, z kolika % je závisle proměnná ovlivněna konkrétní nezávisle proměnnou uvedenou v indexu před tečkou
Příklad: máme 2 nezávisle proměnné a 1 závisle proměnnou:
závisle proměnná y a nezávisle proměnné x1 a x2
dvojnásobná regresní funkce:
y´= a + byx1 . x2 * x1 + byx2 . x1 * x2
dílčí regresní koeficienty vypočteme dle následujících vzorců:
počítáme je za pomoci o stupeň nižších regresních koeficientů
byx1 – byx2 * bx2x1syryx1 – ryx2 * rx1x2
byx1 . x2 = ------------------------------ = -------- * -----------------------
1 - bx1x2 * bx2x1sx1 1 – r2x1x2
udává, o kolik se změní y, jestliže se x1 změní o jednotku a x2 zůstane konstantní
byx2 – byx1 * bx1x2syryx2 – ryx1 * rx1x2
byx2 . x1 = ----------------------------- = ---------- * ----------------------
1 - bx2x1 * bx1x2sx2 1 – r2x1x2
udává, o kolik se změní y, jestliže se x2 změní o jednotku a x1 zůstane konstantní
prostý člen dvojnásobné lineární regresní funkce:
a = (y – byx1 . x2 *(x1 – byx2 . x1 *(x2
totální korelační koeficient u dvojnásobné regrese
r2yx1 – 2 ryx1 * ryx2 * rx1x2 + r2yx2
Ry . x1, x2 = ---------------------------------------------
1 – r2x1x2
při výpočtu korelačního koeficientu jsme využili koeficientů korelace o stupeň nižších řádů (zde párových)
dílčí korelační koeficienty u párové regrese:
ryx1 – ryx2 * rx1x2
ryx1 . x2 = ------------------------------
(1 – r2yx2) (1 – r2x1x2)
ryx2 – ryx1 * rx1x2
ryx2 . x1 = ------------------------------
(1 – r2yx1) (1 – r2x1x2)
nabývá hodnot v intervalu ( -1;1 (
parametry funkce lze počítat i pomocí vektorů a matic – platí již uvedené vztahy a matice pozorovaných hodnot nezávisle proměnných má následující maticový zápis:
1, x11, x12
X = 1, x21, x22
…………
1, xn1, xn2
? Podíl jednotlivých nezávisle proměnnách na změně závisle proměnné ?
tato otázka nastává pouze u vícenásobné regrese
počítáme tzv. Beta koeficienty:
(yx1 . x2 = byx1 . x2 * sx1 / sy
(yx2 . x1 = byx2 . x1 * sx2 / sy
podíl směrodatných odchylek
tyto beta koeficienty jsou již vzájemně souměřitelné – lze je porovnávat
tyto koeficienty jsme totiž přepočítali na stejnou základnu (tou základnou je ten podíl směrodatných odchylek)
tyto koeficienty udávají, o kolik směrodatných odchylek se změní závisle proměnná, když se nezávisle proměnná uvedená v indexu před tečkou změní o jednu směrodatnou odchylku
Zobecňování na základní soubor?
stejně jako u párové závislosti budeme pracovat obvykle s výběrovými soubory, musíme tedy nějak vybrané charakteristiky testovat a pokud se prokáže, že jsou statisticky významné, tak i odhadovat jejich velikost v základním souboru
Test pro koeficient korelace
R2y . x1, x2 . . xk
------------------
k
F = --------------------------
1 - R2y . x1, x2 . . xk
---------------------
n – k – 1
toto testovací kritérium se řídí F-rozdělením
n . . . rozsah výběrového souboru
k . . . počet parametrů regresní funkce
a jestliže je F ( F(( k, n – k - 1 (, pak zamítáme nulovou hypotézu ve prospěch hypotézy alternativní a totální koeficient korelace považujeme za statisticky významný
Bodový odhad totálního korelačního koeficientu
n - k
(y . x1,x2 . . xk = 1 – (1 - R2y . x1, x2 . . xk) * -------------
n – k -1
Test pro dílčí korelační koeficienty
( ryx1 . x2 . . xk (
tr = -----------------------------------
1 - r2yx1 . x2 . . xk
-----------------
n – k – 1
testovací kritérium se řídí t-rozdělením
a jestliže tr ( t(( n – k - 1 (, pak zamítáme nulovou hypotézu na hladině významnosti ( ve prospěch hypotézy alternativní a dílčí korelační koeficienty považujeme za statisticky významné
Intervalový odhad pro dílčí korelační koeficienty
Používáme opět Fisherovu z-transformaci
ryx1 . x2 . . xk ( u( * sz
1
sz = ---------------
n – k - 2
Test vícenásobného regresního koeficientu
byx1 . x2 . . xk
t = -------------------------------
s2byx1 . x2 . . xk
a jestliže je t ( t(( n – k - 1 (, pak zamítáme nulovou hypotézu ve prospěch hypotézy alternativní; vícenásobný regresní koeficient považujeme za statisticky významný
testovací kritérium se řídí t-rozdělením
Interval spolehlivosti dílčího regresního koeficientu
byx1 . x2 . . xk ( t(( n – k - 1 ( * sby . x1 . . xk
Testování celé vícenásobné regresní lineární funkce
Používáme upravený model analýzy rozptylu, který jsme si uvedli v předchozí přednášce
Vícenásobná nelineární regresní funkce
uvedeme si pouze vztahy pro párové závislosti – tj. dvojnásobné závislosti mezi jednou závisle proměnnou a dvěma nezávisle proměnnými
funkce lineární v parametrech:
funkce kvadratická
y´= a + b1 x1 + b2 x2 + b3 x12 + b4 x22
funkce odmocninná
y´= a + b1 x1 + b2 x2 + b3 (x1 + b4 (x2
funkce nelineární v parametrech:
funkce mocninná
y´= a * x1b1 * x2b2
funkce exponenciální
y´= a * b1x1 * b2x2
funkce lomená (tj. vícenásobná hyperbola)
1
y´= ---------------------
a + b1 x1 + b2 x2
měření těsnosti závislosti u vícenásobné nelineární regrese = vícenásobný index korelace
definiční tvar:
sy´ 2
I y . x1x2 = ----------
sy2
nabývá hodnot v intervalu ( 0;1 (
Vícenásobný nelineární index determinace
I2y . x1x2
nabývá hodnot v intervalu ( 0;1 (
Interakce
tento pojem používám u vícenásobné regrese
představuje vzájemné působení faktorů
faktor působí na y a působí zároveň i na ostatní nezávisle proměnné
do rovnic se proto přidává tzv. interakční člen – který vyjadřuje interakci těch faktorů = součin obou nezávisle proměnných; měl by nám pomoci zjistit, zda vzájemné působení mezi faktory existuje
funkce lineární s interakcí
y´= a + b1 x1 + b2 x2 + b3 x1 x2
funkce odmocninná s interakcí
y´= a + b1 x1 + b2 x2 + b3 (x1 + b4 (x2 + b5 x1 x2
parametr interakčního členu
Měření závislosti kvalitativních znaků6. přednáška
Měření závislosti kvalitativních znaků
kvalitativní znaky jsou takové znaky, které se vyjadřují slovně (ne číselně)
rozlišujeme znaky:
alternativní – to jsou takové, které nabývají pouze dvou obměn (ano/ne, muž/žena)
množné – to jsou takové, které nabývají více jak dvou obměn (barva vlasů)
tam, kde je to možné – snažíme se tyto kvalitativní znaky kvantifikovat – tj. převést je na znaky číselné, ale někdy to však možné není
neboť vychází opět převážně z výběrových souborů, přicházejí v úvahu zase induktivní metody
v dnešní době se často používá např. anketa = což je souhrn kvalitativních znaků; a proto je důležité tyto znaky znát a měřit
Znaky alternativní
Asociace
= sledování vztahu mezi dvěma kvalitativními znaky alternativními
sledovaný vztah vyjadřujeme v tzv. asociační tabulce
Znak A / Znak B
b
( 
 
a
(ab)
(a()
(a)
 (
((b)
((()
(()
(b)
(()
n
Okrajové četnosti
Celková četnost
tabulka je čtyřpolní (je to tzv. kombinační tabulka) a uvnitř políček se nacházejí četnosti, které odpovídají výskytu jednotlivých znaků
znak A nabývá hodnot a (znak se vyskytuje) a ( (znak se nevyskytuje) /// znak B nabývá hodnot b a (
okrajové četnosti získáme jako řádkový součet četností:
(a) = (ab) + (a()
(b) = (ab) + ((()
řešíme dva základní úkoly:
1) stanovit průběh závislosti
protože se jedná o znaky kvalitativní se dvěma obměnami, průběh závislosti je tedy vystižen lineárně a to tzv. asociační přímkou, která je obdobou regresní přímky
(b) (a)
---- = Aba + Bba * ------
n n
tato přímka nám vyjadřuje závislost podílu prvků se znakem B na podílu prvků se znakem A
Index u A a B nám udává směr závislosti
n (ab) - (a) (b)
Bba = ----------------------
n (a) – (a)2
z tabulky vyplývá, že: n – a = (
n (ab) – (a) (b)
Bba = ---------------------
(a) (n – (a)(
n (ab) – (a) (b)
Bba = ---------------------
(a) (()
(b)(a)
Aba = ------ - Bba * --------
n n
Bba je vlastně regresní koeficient – lze ho interpretovat a používat k odhadu změn a udává nám, o kolik % se změní podíl prvků se znakem B, jestliže se podíl prvků se znakem A změní o 1 %
Pokud chceme zjistit skutečné % podílu prvků se znakem B – musíme dosadit do rovnice asociační přímky
Sdružená asociační přímka:
(a) (b)
----- = Aab + Bab * -------
n n
Vyjadřuje závislost podílu prvků se znakem A na podílu prvků se znakem B
n (ab) – (a) (b)
Bab = ---------------------
(b) (()
(a)(b)
Aab = ------ - Bab * --------
n n
Bab nám udává o kolik % se změní podíl prvků se znakem A, jestliže se podíl prvků se znakem B změní o 1 %; změna odpovídá jednotkové změně tohoto parametru; = empirický regresní koeficient, odhad změny
2) změřit sílu (těsnost; intenzitu) závislosti
Koeficient asociace
nejvíce užívanou míra; je obdobou korelačního koeficientu ze závislosti přímkové u kvantitativních znaků
n (ab) – (a) (b)n (ab) – (a) (b)
rab = rba = --------------------------------- = ------------------------------------
(n(a) – (a)2((n(b) – (b)2( ( (a) (n – (a))(( (b) (n – (b))(
n (ab) – (a) (b)
= ------------------------------
(a) (() (b) (()
rba = Bab * Bba
hodnoty tohoto koeficientu vycházejí nižší než hodnoty korelačního koeficientu a např. již při jeho hodnotě 0,7 považujeme závislost za velmi silnou
koeficient asociace nabývá hodnot v intervalu od (