- Stahuj zápisky z přednášek a ostatní studijní materiály
- Zapisuj si jen kvalitní vyučující (obsáhlá databáze referencí)
- Nastav si své předměty a buď stále v obraze
- Zapoj se svojí aktivitou do soutěže o ceny
- Založ si svůj profil, aby tě tví spolužáci mohli najít
- Najdi své přátele podle místa kde bydlíš nebo školy kterou studuješ
- Diskutuj ve skupinách o tématech, které tě zajímají
Studijní materiály
Zjednodušená ukázka:
Stáhnout celý tento materiály Y při jednotkovém růstu veličiny X1 za předpokladu už uvažovaného, a tudíž statisticky konstantního vlivu vysvětlujících proměnných X2, X3, …, Xk (analogicky je hodnocen význam ostatních dílčích regresních koeficientů).
Model regresní přímky Y = 0 + 1X1 + je speciální případ pro jednu vysvětlující proměnnou a model regresní roviny Y = 0 + 1X1 + 2X2 + je speciální případ pro dvě vysvětlující proměnné. Racionální celistvé a lomené funkce
Velmi často se používá regresní model, který je lineární z hlediska všech parametrů, ale nelineární z hlediska vysvětlujících proměnných. Oblíbené jsou především modely s jednou vysvětlující proměnnou.
V této skupině je asi nejznámější model regresní paraboly s-tého stupně
Y = 0 + 1X1 + 2X2 + … + sXs +
a zvláště regresní parabola druhého stupně, kdy s = 2. Častý je i model regresní hyperboly s-tého stupně
Y = 0 + 1X-1 + 2X-2 + … + sX-s +
a její speciální případ, kdy s = 1. Model lineární v parametrech
Zobecněním předchozích dvou a dalších případů je model, který je lineární z hlediska všech parametrů
Y = 0 + 1f1 + … + Rfr + ,
ve kterém f1 = f1(X1, X2, …, Xk), f2 = f2(X1, X2, …, Xk), …, fR = fR(X1, X2, …, Xk) jsou libovolné, ale známé funkce (tzv. regresory) vysvětlujících proměnných, neobsahující žádné další neznámé parametry.
Předpokládá se, že každá z k vysvětlujících proměnných je v regresním modelu zastoupená aspoň jedním z R regresorů, takže R k. Používání pojmu regresor místo již zavedeného pojmu vysvětlující proměnná není formálně nutná, ale je to výhodné pro odlišení souboru původních (zvolených nebo zjištěných) hodnot proměnných od uměle vytvořených (vypočtených) hodnot regresorů.
Ve zcela lineárním modelu je každá vysvětlující proměnná zastoupena právě jedním regresorem (R = k) a pro racionální celistvou nebo lomenou funkci s jednou vysvětlující proměnnou je k = 1, ale R = s. Modely převoditelné transformací na lineární model
Pro exponenciální, mocninné, různě kombinované a další regresní funkce je rozumnější předpokládat obecně součinový (multiplikativní) typ regresního modelu ve tvaru Y = , ve kterém je regresní funkce (hypotetická) a rušivá složka.
Časté je použití lineární exponenciální regresní funkce = 01X nebo zapsané jako = exp(0 + 1X), modelu kvadratické exponenciály ve tvaru = exp(0 + 1X + 2X2 + ), jakož i obecného lineárně-exponenciálního regresního modelu s k vysvětlujícími proměnnými zapsaného ve tvaru exp(0 + 1X + … + kXk + ).
Oblíbené jsou rovněž různé typy mocninných regresních funkcí nebo další kombinace uvedených i jiných typů. Modely nelineární z hlediska parametrů
Lineární modely jsou pro svou jednoduchost velmi oblíbené, ale skutečné vztahy mezi veličinami různých vědních oborů bývají většinou nelineární. Nelineární modely je možné třídit podle odlišných kritérií a tak dojít k velkému počtu rozmanitých typů, se kterými se lze setkat v přírodních, technických, společenských či ekonomických vědách (např. nelineární produkční funkce, funkce poptávky, investic).
Nelineární modely je možné třídit např. podle stupně a formy nelinearity. Pro jednu vysvětlující proměnnou bývá zvykem nelineární regresní funkce třídit podle tvaru křivky.
Jednou z možností je vyjít z geometrických vlastností funkcí získaných různou volbou konstant A, B, C v rovnici
Y = XC(1 + 2B)A.
Jednotlivé typy se odlišují např. tím, zda jsou rostoucí nebo klesající, bez omezení nebo do určitého bodu, konvexní nebo konkávní, mají nebo nemají lokální extrémy či inflexní body atd. Nelineární regresní model
Budeme uvažovat regresní model popsaný nelineární regresní funkcí f(x, ) v aditivním tvaru
Y = f(x, ) + ,
kde x je k-členný vektor vysvětlujících proměnných a je p-členný vektor neznámých regresních parametrů.
Na náhodné chyby i (i = 1, 2, …, n) budeme klást předpoklady klasického regresního modelu, tedy E(i) = 0 a D(i) = 2, kde i jsou normálně rozdělené náhodné veličiny.
V nelineární regresi je však často nutné uvažovat modely s náhodnými chybami v multiplikativním tvaru či smíšený model obsahující náhodné vlivy v aditivním i multiplikativním tvaru a předpokládat obecné pravděpodobnostní rozdělení náhodných chyb. Nelineární regresní modely, které lze vhodnou transformací nebo reparametrizací převést na lineární, nazveme vnitřně lineárními.
Takovým je například model
y = ex + ,
který je zavedením nového parametru = exp () možné převést na lineární model bez absolutního členu y = x+, nebo model
y = 12x e,
který je lineární po logaritmické transformaci modelu a lze jej po reparametrizaci = ln(1), = ln(2) zapsat ve tvaru ln(y) = + x + . Uvedené modely se považují za linearizovatelné a patří sem i takové nelineární modely, u kterých lze převést na lineární jen regresní funkci f(x, ) a model při zanedbání náhodné složky přibližně zapsat ve formě y f(x, ).
Příkladem jsou aditivní modely s regresními funkcemi které jsou při vynechání linearizovatelné logaritmem, druhou mocninnou či reciproční funkcí na lineární modely Tyto linearizační transformace sice neberou v úvahu náhodnou složku, ale poskytují jednoduchou možnost, jak využít lineární regresní odhady i v případě nelineárního modelu. Avšak pro nezanedbatelné chyby nejsou uvedené transformace správné a dochází ke vzniku heteroskedasticity. Typy jednoduchých nelineárních regresních funkcí
Nejčastěji se při vyjádření nelineární regrese používají poměrně jednoduché typy křivek.
Aditivní typ funkcí
Kvadratická (parabola 2. stupně)
Kubická (parabola 3. st.)
Lineární lomená (hyperbola 1. st.)
Kvadratická lomená (hyperbola 2. st.) Iracionální
Logaritmická
Multiplikativní typ funkcí
Exponenciální Mocninná
Při výběru typu funkce je třeba vycházet nejen z formálního hlediska, podle něhož nejvýstižněji prokládá empirické hodnoty regresní funkce s nejmenším součtem čtverců odchylek teoretických od empirických hodnot závisle proměnné (nejvyšší hodnota indexu korelace), ale i z hlediska věcně logického, podle věcné podstaty zkoumané závislosti. Při odhadu neznámých parametrů v nelineárním modelu lze použít opět metodu nejmenších čtverců, i když se často volí i jiná kritéria či postupy (někdy se na základě předpokladu o typu rozdělení náhodných chyb hledají maximálně věrohodné odhady).
V případě nelineární regrese vnímáme reziduální součet čtverců především jako funkci neznámých parametrů a minimalizovaný výraz zapíšeme ve tvaru vzhledem k vektoru neznámých parametrů . Na rozdíl od lineárních regresních modelů je třeba u nelineárních modelů počítat s řadou komplikací:
neodhadnutelností některých parametrů,
existencí minima funkce jen pro některé regresní modely,
výskytem lokálních minim a sedlových bodů,
špatnou podmíněností parametrů v regresním modelu,
malým rozmezím experimentálních dat (zejména u parametrů vyjadřujících limitní chování modelu). Metoda nejmenších čtverců pro vybrané nelineární funkce
Výpočet parametrů vychází z podmínky minimálnosti čtverců Dosazením do výrazu za y`i a derivováním podle jednotlivých parametrů funkce lze dospět k soustavě normálních rovnic, ze kterých se parametry vypočítají.
Normální rovnice lze sestavovat mechanicky, aniž by jejich vyvození muselo být praktikováno prostřednictvím parciálních derivací.
Sestavují se tak, že se každý člen rovnice postupně násobí příslušnou simultánní funkcí nezávisle proměnné u jednotlivých parametrů regresní rovnice a vždy po vynásobení jednotlivými simultánními funkcemi se provede součet. Předpokladem však je, aby regresní rovnice byla aditivního typu a simultánní funkce nezávisle proměnné bez neznámých parametrů.
U závisle proměnné se uvádějí empirické hodnoty. Tak první normální rovnice pro funkci se získá vynásobením jedničkou, neboť při parametru a je simultánní funkce rovna 1 (= x0), a součtem, tedy Druhá normální rovnice se obdrží vynásobením a následným součtem, tedy Podobným způsobem lze vytvořit soustavu normálních rovnic pro všechny ostatní regresní funkce aditivního tvaru. Polynomická regrese Exponenciální funkce
Odhad parametrů, které nejsou lineární v parametrech, neprovádíme MNČ přímo, protože její použití vede k soustavě nelineárních rovnic, z nichž zpravidla nedokážeme odhadnout přímo parametry ve formě vhodných výpočetních vzorců.
Proto se při odhadu parametrů nelineárních regresních funkcí většinou postupuje tak, že se najde jejich vhodný počáteční odhad a postupným zlepšováním řešení nalezneme odhad s požadovanou přesností.
Používá se tedy způsob, kdy určitou regresní funkci, která je nelineární z hlediska parametrů, převedeme pomocí linearizující transformace na funkci lineární v parametrech. Transformace spočívá v tom, že pomocí logaritmů, převrácením hodnot apod. dojdeme k takovému tvaru regresní funkce, jejíž parametry bude už možné odhadovat MNČ. Řešením jsou parametry ve tvaru log a a log b. Pokud chceme exponenciální funkci vyjádřit v původním tvaru, je potřeba provést odlogaritmování funkcí 10x. Charakteristiky korelace u nelineární regrese
Pomáhají nám při posouzení kvality regresní funkce a ke zjištění síly závislosti.
Posuzovaný vztah je tím silnější a regresní funkce tím lepší, čím více jsou empirické hodnoty vysvětlované proměnné soustředěné kolem odhadnuté regresní funkce, a naopak tím slabší, čím více jsou empirické hodnoty vzdáleny hodnotám vyrovnaným.
Umožňuje také posoudit přesnost regresních odhadů – čím více se jednotlivé napozorované hodnoty soustřeďují kolem zvolené regresní čáry, tím je závislost těsnější a odhad přesnější. Při konstrukci míry ukazující na sílu závislosti vycházíme ze vztahu empirických a vyrovnaných hodnot, kdy pomocí těchto hodnot můžeme konstruovat tři rozptyly s různou vypovídací schopností:
rozptyl empirických (skutečně zjištěných) hodnot y rozptyl vyrovnaných hodnot (teoretický rozptyl) rozptyl skutečně zjištěných hodnot kolem regresní čáry, tj. rozptyl empirických hodnot od hodnot vyrovnaných (reziduální rozptyl) Lze dokázat, že při použití metody nejmenších čtverců mezi uvedenými rozptyly platí vztah Rozptyl empirických hodnot lze tedy rozložit na rozptyl vyrovnaných hodnot a rozptyl reziduálních hodnot. Podíl složek na empirickém rozptylu
teoretický rozptyl takže
Jde o krajní případ, kdy je y`i nezávislé na xi, kdy jde vlastně o regresní přímku rovnoběžnou s osou x. V daném případě jde o nezávislost.
reziduální rozptyl takže
Druhý krajní případ, kdy je každé y`i shodné s yi. Všechna empirická pozorování vyhovují teoretickým hodnotám na regresní přímce. Jde o pevnou závislost.
teoretický rozptyl takže
V daném případě jde o volnou závislost. Závislost proměnné Y na proměnné X bude zřejmě tím silnější, čím větší bude podíl rozptylu vyrovnaných hodnot na celkovém rozptylu, a tím slabší, čím bude podíl tohoto rozptylu menší.
Sílu závislosti je tedy možné měřit poměrem Tento poměr se nazývá index determinace.
V případě funkční závislosti nabude hodnoty 1, v případě nezávislosti hodnoty 0.
Čím více se bude blížit jedné, tím se závislost považuje za silnější, a tedy dobře vystiženou zvolenou regresní funkcí. Nízká hodnota indexu determinace nemusí ještě znamenat nízký stupeň závislosti mezi proměnnými, ale může to signalizovat chybnou volbu regresní funkce.
Index determinace lze také konstruovat nepřímo, tj. ve tvaru K měření těsnosti závislosti se v praxi častěji používá odmocnina indexu determinace, která se nazývá index korelace. Index korelace poskytuje stejné informace o těsnosti závislosti jako index determinace, jinak však má menší vypovídací schopnost.
Dosadíme-li do vzorce indexu korelace za oba rozptyly, dostaneme výpočetní vzorec ve formě Index korelace se používá k měření těsnosti závislosti pro libovolnou regresní funkcí, jejíž parametry byly odhadnuty metodou nejmenších čtverců. Pro dosazení do uvedených vzorců indexu korelace je potřebné vypočítat pro každou hodnotu xi podle konkrétní regresní funkce teoretické hodnoty y`i a pak teprve počítat příslušné součty čtverců pro teoretický či lépe reziduální rozptyl.
Snadnější a výhodnější je následující postup výpočtu přičemž Např. v případě kvadratické funkce lze psát Korelační poměr
Pokud nelze z jakýchkoliv důvodů určit konkrétní tvar vyrovnávající regresní funkce, používá se k určení těsnosti závislosti míry, která se nazývá korelační poměr. V určitém smyslu je to obecnější míra závislosti než index či koeficient korelace, protože na rozdíl od nich nezávisí na tvaru regresní funkce.
Z definice korelační závislosti vyplývá, že se změnami hodnot vysvětlující proměnné se systematicky mění podmíněné průměry závisle proměnné. V takovém případě se v podmíněných průměrech projevuje určitá variabilita, kterou lze měřit rozptylem podmíněných průměrů . Vliv ostatních činitelů na závisle proměnnou se pak projevuje tím, že v podmíněných rozděleních závisle proměnné dochází ke kolísání jednotlivých hodnot závisle proměnné okolo podmíněných průměrů. Toto kolísání se měří průměrem z podmíněných rozptylů .
Závislost Y na X lze tedy zřejmě považovat za tím silnější, čím větší je variabilita podmíněných průměrů ve srovnání s variabilitou hodnot v podmíněných rozděleních. Protože platí je zřejmé, že lze tuto míru těsnosti závislosti konstruovat jako poměr Tento poměr udávaný v % se nazývá poměr determinace a udává, jaké % rozptylu závisle proměnné lze vysvětlit vlivem nezávisle proměnné X. Doplněk do 100 % pak udává vliv blíže nespecifikovaných činitelů. Čím více se blíží poměr determinace jedné, tím je závislost proměnné Y na proměnné X silnější.
V případě, že variabilita hodnot v podmíněných rozděleních je nulová, je poměr determinace roven 1 a jde tedy o úplnou závislost mezi oběma proměnnými.
Naopak v případě, že jsou všechny podmíněné průměry stejné, je poměr determinace nulový a jde tedy o korelační nezávislost Y na X.
K měření těsnosti závislosti se pak používá odmocnina z poměru determinace, která se nazývá korelační poměr Korelační poměr lze také vypočítat nepřímo ve tvaru: Za předpokladu, že závislost mezi proměnnými byla zkoumána na dostatečně velkém počtu pozorování, kdy podmíněné průměry závisle proměnné Y nemohou být výrazněji ovlivňovány nahodilými vlivy, lze pak pozorováním velikosti korelačního poměru a indexu korelace (příp. koeficientu) usuzovat na vhodnost použité funkce. Čím více se budou hodnoty obou měr k sobě přibližovat, tím se bude použitá regresní funkce považovat za vhodnější zobrazení dané závislosti. Maticový způsob stanovení parametrů nelineárních funkcí Kvadratická funkce Hyperbola (lomená) Odmocninná funkce Logaritmická funkce Exponenciální funkce Maticově lze stanovit i hodnotu korelačního indexu. Statistická analýza v nelineárním modelu
Intervalové odhady parametrů
Bodové odhady b regresních parametrů jsou ze statistického hlediska bezcenné, protože nic neuvádějí o tom, v jakých mezích lze očekávat výskyt skutečných hodnot .
Odhady b jsou náhodné veličiny určené na základě výběru dat o velikosti n.
U nelineárních regresních modelů se při konstrukci intervalů spolehlivosti používá převážně linearizace, která je však použitelná pouze v případech, kdy model není silně lineární a míry nelinearity, asymetrie a vychýlení odhadů jsou malé. Testy hypotéz o odhadech parametrů
Testování hypotéz souvisí úzce s konstrukcí oblastí spolehlivosti.
Pokud parametry 0 leží v 95% oblasti spolehlivosti kolem b, lze na hladině významnosti = 0,05 považovat rozdíly ( - 0) za statisticky nevýznamné.
Samotné testy pak lze konstruovat stejně jako v lineárním modelu (za předpokladu alespoň přibližné normality odhadu metodou nejmenších čtverců).
Individuální testy o nulových hodnotách parametrů však nemají v nelineární regresní analýze dobrý význam, protože známe-li vhodnou regresní funkci, jsou případné zjednodušené modely těžko interpretovatelné. V jiných případech je třeba testovat jiné hodnoty parametrů než nulové. Těsnost proložení regresní křivky
U lineárních regresních modelů slouží analýza reziduí k ověřování některých předpokladů o chybách , u nelineárních modelů pak především k posouzení dosažené těsnosti proložení vypočtené regresní křivky danými experimentálními body.
Analýzou vlivných bodů se identifikují body, které silně ovlivňují odhadované regresní parametry v modelu, což umožňuje určit vybočující pozorování nebo extrémy.
Analýza reziduí
Pro aditivní modely měření a užívanou NMČ jsou rezidua definována vztahem
ei = yi – f(xi, b). K analýze reziduí se užívá jednak názorného grafického zobrazení vektoru reziduí a jednak numerické analýzy směřující ke statistickému testování.
Grafická analýza reziduí
Grafickou (předběžnou) analýzou reziduí spočívající v prostém zobrazení vektoru reziduí, lze snadno odhalit:
odlehlé (extrémní) hodnoty v souboru reziduí,
trend v reziduích,
nedostatečné střídání znaménka u reziduí,
chybný model nebo vzájemnou závislost reziduí,
heteroskedasticitu (nekonstantnost rozptylu) závisle proměnné veličiny Y,
náhlou změnu podmínek při měření hodnoty y. Statistická (numerická) analýza reziduí
Analýza reziduí je hlavní diagnostickou pomůckou při hledání a rozlišení regresního modelu a navíc těsnost dosaženého proložení experimentálními body je mírou věrohodnosti nalezených odhadů.
Mezi nejčastěji užívané statistiky patří především střední hodnota reziduí E(e), která by se měla rovnat nule, dále průměrné reziduum, směrodatná odchylka střední hodnoty reziduí a konečně koeficient šikmosti a koeficient špičatosti reziduí.
Pro normální rozdělení reziduí by se měl koeficient šikmosti rovnat nule a koeficient špičatosti třem.
Pozn. Diagnostické metody nejsou vždy spolehlivé, protože rezidua nemají nulovou střední hodnotu, jsou vychýlená, jsou přibližně lineární kombinací chyb a navíc závisejí na skutečných hodnotách parametrů (které jsou uživateli neznámé). Příklad Černá čára – regresní funkce, červené čáry – intervalový odhad regresní funkce, fialová čára – pás spolehlivosti.
Nelineární regresní modely Typy jednoduchých nelineárních regresních funkcí
Nejčastěji se při vyjádření nelineární regrese používají poměrně jednoduché typy křivek.
Aditivní typ funkcí
Kvadratická (parabola 2. stupně)
Kubická (parabola 3. st.)
Lineární lomená (hyperbola 1. st.)
Kvadratická lomená (hyperbola 2. st.) Iracionální
Logaritmická
Multiplikativní typ funkcí
Exponenciální Mocninná
Při výběru typu funkce je třeba vycházet nejen z formálního hlediska, podle něhož nejvýstižněji prokládá empirické hodnoty regresní funkce s nejmenším součtem čtverců odchylek teoretických od empirických hodnot závisle proměnné (nejvyšší hodnota indexu korelace), ale i z hlediska věcně logického, podle věcné podstaty zkoumané závislosti. Při odhadu neznámých parametrů v nelineárním modelu lze použít opět metodu nejmenších čtverců, i když se často volí i jiná kritéria či postupy (někdy se na základě předpokladu o typu rozdělení náhodných chyb hledají maximálně věrohodné odhady).
V případě nelineární regrese vnímáme reziduální součet čtverců především jako funkci neznámých parametrů a minimalizovaný výraz zapíšeme ve tvaru vzhledem k vektoru neznámých parametrů . Na rozdíl od lineárních regresních modelů je třeba u nelineárních modelů počítat s řadou komplikací:
neodhadnutelností některých parametrů,
existencí minima funkce jen pro některé regresní modely,
výskytem lokálních minim a sedlových bodů,
špatnou podmíněností parametrů v regresním modelu,
malým rozmezím experimentálních dat (zejména u parametrů vyjadřujících limitní chování modelu). Metoda nejmenšíc
Vloženo: 1.03.2011
Velikost: 4,31 MB
Komentáře
Tento materiál neobsahuje žádné komentáře.
Copyright 2024 unium.cz