Prednasky

ených pravidel
n jeho vlastnosti jsou validita, reliabilita, praktičnost, obtížnost, citlivost
Nechápat didaktický test zúženě!
n test může trvat i několik hodin
l Př. závěrečný při studiu předmětu
n nemusí být písemný
l testy psaní na stroji, řízení motorových vozidel aj.,
n nejen úlohy s výběrem odpovědí
l řešení určitého problému, pojednání na určité téma - esej
Funkce didaktického testu
n kontrolní
l pro učitele, žáka, užitých metod
n opakovací
l průběžný test v hodině
n diagnostická
l zjištění úrovně -- pretest, posttest, průběžný
Didaktický test ve výzkumu
n Zkoumáme žákovy výsledky vzdělávání
l Např. znalosti, porozumění, aplikační schopnosti atd.
l Např. v experimentu -- když zjišťujeme účinnost určitého postupu, formy výuky, učebnice,metody
atd.
Edukometrie
n Disciplína zabývající se testováním,standardizací testů,didaktickými testy
Druhy didaktických testů
n podle charakteristiky testového výkonu:
l testy rychlosti, t. úrovně
n podle dokonalosti přípravy:
l standardizované, nestandardizované, kvazistandardizované
n podle povahy žákovy činnosti:
l kognitivní a psychomotorické
n podle specifičnosti učení:
l testy výsledků výuky, studijních předpokladů
n podle interpretace výkonu v testu:
l rozlišující, ověřující
n podle časového zařazení do výuky:
l vstupní, průběžné, výstupní
n podle tématického rozsahu:
l monotematické, polytematické
n podle míry objektivity při skórování:
l skórovatelné objektivně, subjektivně
n podle možnosti měnit průběžně obtížnost úloh, podle kvality žákových odpovědí:
l adaptivní, neadaptivní
Testy dělené podle charakteristiky testového výkonu
n Testy rychlosti
n Testy úrovně
Testy rychlosti
l zjišťuje se rychlost s jakou je žák s to řešit úlohy
l pevně stanovený časový limit
20
l velmi snadné úlohy
l př. rychlost čtení, psaní na stroji
Testy úrovně
n žádné časové omezení
l maximálně jen takové, že omezíme jen ty nejpomalejší, kt. prodloužením času už nedosahují
lepších výsledků
n výkon je dán úrovní vědomostí úlohy řazeny podle obtížnosti
n kombinace -- za "ušetřenou minutu" bod navíc + 80% správně
Testy podle dokonalosti přípravy
n standardizované
n nestandardizované
n kvazistandardizované
Standardizované testy
n připravovány profesionálně, specializované instituce,
n přesně popsané z hlediska zadání a interpretace,
n výkonová norma jasně žáka zařazuje a říká, jaký výsledek testu je normální
n testovací část, administrativní(cíl,pro jaké žáky),standardizace testu, zadání, podmínky,instrukce,
n hodnocení testu -- skór úloh, celkové hodnocení na základě statistických parametrů, převod hodnocení na klasifikační stupnici
n testová příručka/manuál, standard /testová norma pro hodnocení
n vlastnosti: validita, reliabilita, citlivost, objektivita, ekonomická náročnost (viz téma dotazník)
Testy nestandardizované
n učitelské, neformální,
n neproběhlo ověřování na větším vzorku žáků
n není k dispozici testová příručka
n není objektivně stanovený testový standard/norma
n při konstrukci je třeba držet se určitých zásad
Testy kvazistandardizované
n na škole či několika školách,
n známy některé jejich vlastnosti,
n někdy i testová příručka k dispozici a standardy výsledků,
n standardizace není provedena bezezbytku
Podle povahy žákovy činnosti
n kognitivní
l kvalita/úroveň poznání
l př. test z matematiky, překlad
n Psychomotorické
l výsledky psychomotorického učení (psaní na stroji)
n Pozn.: výsledky afektivního a sociálního učení se zjišťují dotazníky, škálami atd.
Podle specifičnosti učení
n testy výsledků výuky
l co se naučili
n testy studijních předpokladů
l obecné charakteristiky,
l náročnější na konstrukci,
l u přijímacího řízení by měly být na VŠ
Podle interpretace výkonu v testu
21
n testy rozlišující / testy relevantního výkonu
l jaký výkon dosáhl žák vzhledem k populaci,
l zda je ve srovnání s ostatními slabý, průměrný atd.
n testy ověřující / testy absolutního výkonu - kriteriální
l ověřit úroveň vědomostí a dovedností v přesně vymezené oblasti
l předem stanoven stupeň zvládnutí učiva
l neusiluje se o diferencované hodnocení, ale o "zvládl X nezvládl"
Podle časového zařazení do výuky
n testy vstupní
n testy průběžné
l formativní
n testy výstupní
l sumativní
Podle tématického rozsahu
n testy monotematické
n polytematické
Podle míry objektivity při skórování
n testy objektivně skórovatelné
l lze objektivně říci, zda byly úlohy řešeny správně či nesprávně
l skórování může provádět kdokoli = výhoda
n testy subjektivně skórovatelné
l esej testy,
l není možné objektivně stanovit jednoznačná pravidla pro skórování
l př. úlohy široké otevřené, zkouší daleko komplexnější vědomosti
Podle možnosti měnit průběžně obtížnost úloh
Podle kvality žákových odpovědí
n testy adaptivní
n testy neadaptivní
Postup při konstrukci did. testu
n Konstrukce by neměla by začínat přímo navrhováním testových úloh
l snadno by se navrhovaly, ale nevedly by k vyváženému didaktickému testu,
l nepokrývaly by rovnoměrně celé učivo,
l zaměřovaly by se na pouhou reprodukci zapamatovaných poznatků
n nejsnadněji se navrhují úlohy zkoušející zapamatování
l těchto úloh bývá u autorů nepoučených převaha
1. Vymezit si účel testu
n K jakému účelu má test sloužit?
Např.
l zjištění výsledků výuky na konci tematického celku, pololetí,
l zjištění, jak žáci učivo chápou a přijímají, kontrola,
l výběr studentů pro vyšší typ školy
l aj.
2. Rámcové vymezení obsahu testu
Př.
n skladba, tvarosloví
n učivo 40 hodin ČJ,
n 6.roč. ZŠ
3. Upřesnění obsahu -- co mají úlohy zkoušet
n Jakou úroveň osvojení mají jednotlivé úlohy zkoušet
l nezkoušet jen zapamatování, ale i vyšší cílové kategorie -- porozumění, používání
n viz taxonomie výukových cílů
n Kolik úloh má zkoušet jednotlivé prvky učiva
22
l prvky učiva mají být reprezentovány počtem úloh odpovídajících jejich důležitosti/ významu a rozsahu
n Kolik úloh musí obsahovat celý test
l spodní hranice je 10 úloh,
l jedině test s dostačujícím počtem úloh může poskytnout reliabilní = spolehlivou informaci,
l horní hranice je dána čas. možnostmi,
l u monotematických testů max. kolem 20 úloh
4. Konstrukce testu
n = vytvoření jednotlivých testových úloh a prvního návrhu testu
n testová úloha = otázka, úkol, problém obsažený v testu,
n na jejich kvalitě závisí kvalita celého testování
n autor by měl být dobrým odborníkem předmětu, ze kterého test připravuje,
l měl by se také umět vcítit do žáků
l být dobrým pedagogem a psychologem
n zvážit, jaký typ testových úloh použít
n každý má určité vlastnosti, výhody a nevýhody
n viz druhy testových úloh
5. Návrh prototypu testu
n je dobré návrh na několik dní odložit, pak se k němu kriticky vrátit
n z úloh, které obstály při našem i cizím hodnocení sestavit test
n konstruujeme-li rozlišující test, musíme úlohy seřadit podle vzrůstající obtížnosti
n přibližně určíme čas k vypracování testu žáky
l u jednodušších otevřených, úzkých úloh a jednodušších s výběrem odpovědi -- ca. 0,5 až 1,5
minuty na úlohu
n časový limit stanovujeme velmi volně, v běžných případech bez čas. omezení
6. Ověření kvality vytvořeného didaktického testu
n i když postupujeme a plánujeme pečlivě, nemůžeme si být nikdy jisti tím, jaké vlastnosti nakonec bude test mít
n => ověřit ho na vzorku žáků
n u nestandardizovaného -- pro naši potřebu stačí žáci, kt. učíme,
n stačí jen odhad vlastností testu
n X znát ty vlastnosti -- u standardiz. testů se s nimi setkáme
n pak odstranit nevhodné vlastnosti testu nebo je alespoň zmírnit
n získáme údaje o vlastnostech testových úloh i testu jako celku
7. Klasifikace výsledků testu
n Problém převodu bodového hodnocení na klasifikační stupnici
l intuitivně,
l na základě procenta správných odpovědí,
l na základě normálního rozložení
8. Diagnostický rozbor výsledků žáků
n všímat si chyb, hledat jejich příčiny
n výsledky třídy si zobrazit v histogramu četností
n sloupkový diagram
l dozvím se rozložení výsledků
n kolik žáků má 3, 2 atd.
Druhy testových úloh
n každý druh úloh má určité vlastnosti, výhody a nevýhody
n kritériem výběru je:
l cíl testování,
l obsah učiva,
l podmínky,
23
l autorova preference úloh
n Druhy úloh:
l podle způsobu, jakým žák odpovídá:
n úlohy s otevřenou odpovědí
n úlohy s uzavřenou odpovědí
Druhy testových úloh podle typů odpovědí
Bloomova taxonomie kognitivních výukových cílů a druhy vhodných testových úloh pro zjišťování dosažených vzdělávacích výsledků
1. Úlohy s otevřenou odpovědí podle rozsahu požadované odpovědi
n otevřené široké úlohy
n úlohy se stručnou odpovědí
l produkční
l doplňovací
Ad a) otevřené široké úlohy
n s nabídnutou strukturou odpovědi
l Výroba surového železa
(uveďte hlavní používané suroviny, nakreslete schéma pece a popište hlavní probíhající chemické reakce)
n bez nabídnuté struktury
l vyplývá z konvence, zjišťujeme ji
l Př. Popište hlavní stádia tělesného vývoje dítěte do šesti let.
Adb) úlohy se stručnou odpovědí
n produkční
l Př. Které jsou tři základní složky lidské potravy?....................................
l Př. Napište Archimédův zákon........
n doplňovací
l Př. Hlavním městem Švýcarska je .....
l Př. Po smrti českého krále Karla IV. v roce ......... nastoupil na trůn jeho syn ......
2. úlohy s uzavřenou odpovědí
n dichotomické úlohy
n úlohy s výběrem odpovědi
n jedna správná,
n jedna nejpřesnější,
n jedna nesprávná,
n vícenásobná odpověď,
n situační/ interpretační úlohy
n přiřazovací úlohy
n uspořádavací úlohy
Dichotomické úlohy
n Př.
l Mistr Jan Hus byl upálen roku 1515.
ANO -- NE
l Při vypařování kapaliny se teplo
spotřebovává - uvolňuje
Úlohy s výběrem odpovědi -- jedna správná
Př.Cesta vlakem nám velmi rychle uběhla.
Podtržený větný člen je:
l Podmět
l Předmět
l Přívlastek
l Příslovečné určení
Úlohy s výběrem odpovědi -- jedna nejpřesnější
Př. Které z následujících tvrzení nejlépe odpovídá na otázku: "Co je chemický prvek?"
24
n Prvek je látka, která se skládá z atomů stejného druhu.
n Prvek je látka, kterou již dále nelze rozdělit
n Prvek je látka složená z atomů, které mají stejné protonové číslo.
n Žádné z předchozích tvrzení není naprosto správné.
Úlohy s výběrem odpovědi -- jedna nesprávná
n Který z následujících dějů není formou oxidačního procesu?
L Dýchání
L Hnití
L Destilace
L Rezivění
Úlohy s výběrem odpovědi -- vícenásobná odpověď
Př.Kterými státy protéká (nebo se alespoň dotýká) Odra?
L Německo
L Rusko
L ČR
L Slovensko
L Polsko
Úlohy s výběrem odpovědi -- situační / interpretační úlohy
Př.Na místo označené hvězdičkou napište takovou číslici, aby výsledné šesticiferné číslo bylo
dělitelné sedmi:
823*43
Přiřazovací úlohy
Př. K názvům států v levém sloupci přiřaďte správně názvy jejich hlavních měst z pravého sloupce.
Švýcarsko ( ) A Oslo
Norsko ( ) B Dublin
Island ( ) C Bern
Finsko ( ) D Berlín
Nizozemsko ( ) E Reykjavík
F Helsinky G Amsterdam
Uspořádací úlohy
Př.
Seřaďte následující racionální čísla podle jejich velikosti tak, že k nejmenšímu z nich
připíšete 1 a k největšímu 4.
0,5 .....
12/18 .....
-0,001 .....
15/60 .....
Vlastnosti testu
standardizace testu
l Objektivita
l Validita
l Reliabilita
l Citlivost
l Ekonomická náročnost
Objektivita testu
n zamezit zkreslení výsledku
n podmínky objektivity:
l odpověď je jediná
l jednoznačné vyhodnocení
l výkon je posuzován podle normativního systému
25
Validita testu
n měří to, co měřit má
n typy validit (min. 20 typů):
l obsahová -- do jaké míry úlohy zjišťují oblast, kterou zkoušíme, obsahová analýza
l predikční -- do jaké míry je úspěšnost v testu s sto predikovat přijetí na VŠ, do jaké míry je
v souladu se schopnostmi, stabilní výkon
l pojmová, konstruktová -- jak vyjadřuje vztah teorie a řešení, týká se hypotéz
Reliabilita testu
n přesnost a spolehlivost testu
n výsledky by se měly co nejméně lišit od skutečnosti
l př. měření na jiné skupině dá stejné výsledky,
l čím méně se budou výsledky lišit, tím lépe
l je třeba potlačit náhodný rozptyl
n vypočítává se koeficient reliability
l má být kolem 1
Citlivost didaktického testu
n měří rozdíly mezi žáky
=> musí být různé otázky
n měří pravděpodobnost správné odpovědi
n koeficient citlivosti
l blízký 0 = lehká otázka,
l 1 = těžká,
l 0,2 0,8
Ekonomická náročnost
n čas,
n interpretace -- formulovat předpoklady užití
Ověření kvality vytvořeného didaktického testu
n Vlastnosti dobré testové úlohy:
n Obtížnost
n Citlivost
n Vlastnosti dobrého didaktického testu jako celku:
n Validita
n reliabilita
Obtížnost testové úlohy
n posoudíme podle toho, kolik žáků dokáže položku správně vyřešit
n hodnota obtížnosti Q udává procento žáků ve vzorku, kteří danou úlohu odpověděli nesprávně nebo
ji vynechali
Q = 100 (n[n]/n)
Q......... hodnota obtížnosti
n[n] ...... počet žáků, kteří odpověděli nesprávně nebo vůbec
n ....... celkový počet testovaných žáků
Obtížnost testové úlohy
n index obtížnosti P je procento žáků ve skupině, kteří danou úlohu zodpověděli správně
P = 100 (n[s]/n)
P ...index obtížnosti
n[s] .. počet žáků, kteří odpověděli správně
n ... celkový počet žáků
Obtížnost testové úlohy
n Q > 80
26
l velmi obtížné úlohy (nemělo by jich být v testu mnoho, pokud se blíží hodnotě 100, jsou nevhodné,měli bychom je vyloučit)
n Q< 20
l velmi snadné (extrémně snadné úlohy, blížící se 0, je vhodné dát z psychologických důvodů jako úvodní úlohu testu -- přispěje k uklidnění žáků)
n nejvhodnější jsou úlohy s hodnotou obtížnosti kolem Q = 50
l platí pro rozlišující testy
Citlivost testové úlohy
n rozlišovací hodnota, rozlišovací schopnost úloh
n vysokou citlivost má úloha
l kterou řeší s úspěchem žáci, kteří mají celkově lepší vědomosti,
l zatímco žáci s celkově horšími vědomostmi dosahují špatných výsledků
Citlivost testové úlohy
Zjišťuje se pomocí koeficientu citlivosti
n je jich vícero
n nabývá hodnoty od 1 do --1
n čím vyšší hodnotu má, tím lépe úloha rozlišuje mezi žáky s lepšími vědomostmi a horšími
Hodnoty koeficientu citlivosti
n pokud je kolem 0
l nerozlišuje dobře
l žáci s lepšími vědomostmi a horšími vědomostmi jsou stejně úspěšní
n záporné hodnoty koeficientu
l úloha zvýhodňuje žáky, kteří mají v testu celkově horší výsledky
n nízké hodnoty či záporné
l u úloh, které jsou příliš komplikovaně formulované
l lepší žáci hledají složitý způsob řešení a dopouští se chyb, slabí hádají
l nebo např. u velmi obtížných úloh s výběrovými odpověďmi
l nebo u úloh, kde se zkouší formálně zvládnuté učivo
n přijatelné hodnoty jsou většinou vyšší než +0,2
Zjišťování citlivost testové úlohy u nestandardizovaných testů
n u nestandardizovaných testů není třeba koeficienty vypočítávat
l stačí si všimnout, jak v jednotlivých úlohách odpovídali "horší" a "lepší" žáci
l jestliže lepších výsledků dosahovali horší žáci, znamená to, že s úlohou není něco v pořádku a má malou nebo i zápornou citlivost
Validita didaktického testu
n zda test zkouší skutečně to, co má být zkoušeno
n shoda obsahu testu s cílem vyučování (obsahová validita)
n obsah úloh testu by měl být reprezentativním vzorkem zkoušeného učiva
n predikční validita
n např. testů studijních předpokladů
n posouzení validity prostřednictvím srovnání výsledků jiného testu
Reliabilita didaktického testu
n spolehlivost testu
l za týchž podmínek má poskytovat týž výsledky
n přesnost testu
l nedochází k velkým chybám v měření
n míra reliability se vyjadřuje koeficientem reliability ,
l požaduje se alespoň 0,8
n je závislá na kvalitě testových úloh a jejich počtu
l čím více testových úloh, tím větší reliabilita
n u testů s malým počtem úloh dosahuje max. 0,60
27
Reliabilita didaktického testu
n čím nižší reliabilita, tím skeptičtěji je třeba spolehlivost výsledků posuzovat
n aby byl test dostatečně validní, musí mít vysokou reliabilitu (naopak ta záruka není)
l test může spolehlivě a přesně měřit určité vědomosti, i když měří něco jiného než má
n více viz Chráska 1998
Klasifikace výsledků testu
n Problém převodu bodového hodnocení na klasifikační stupnici:
l intuitivní přístup ke klasifikaci
l klasifikace na základě procenta správných odpovědí
l na základě normálního rozdělení
Intuitivní přístup ke klasifikaci
n u učitelů s velkou ped. a odbornou zkušeností hodnocení odpovídá
n přiřazení klasifikačních stupňů na základě posouzení odborníky:
l test necháme posoudit co nejvíce odborníkům-učitelům,
l požádáme je o návrh klasifikační stupnice,
l z posudků určíme průměr,
l čímž eliminujeme extrémní názory
Klasifikace na základě procenta správných odpovědí
n př. v matematice
n 4 rozsáhlejší úlohy správně = 1
n 3 úlohy = 2, ....
n problém: nepřihlíží k rozdílné obtížnosti úloh
n vyhovuje u testů, které neobsahují extrémně snadné či složité úlohy
n používá se u testů ověřujících zvládnutí základního učiva (kriteriálních)
n dichotomické hodnocení Vyhověl-Nevyhověl,
n musí splnit 80-90% úloh
Klasifikace na základě normálního rozdělení
n vychází se z předpokladu, že rozložení výsledků odpovídá Gausově křivce
n nejvíce výkonů je vždy průměrných
l nejvíce žáků klasifikujeme stupněm 3
Klasifikace na základě normálního rozdělení
n existují také tzv. percentilové škály, C- škály, T-škály aj. pro vyjádření výkonu pomocí
klasifikačních stupňů
Diagnostický rozbor výsledků žáků
n všímat si chyb, hledat jejich příčiny
n výsledky třídy si zobrazit v histogramu četností (sloupkový diagram)
l dozvím se rozložení výsledků
n kolik žáků má 3, 2 atd.

11. Interview jako výzkumná metoda v pedagogice
Termín interview
Inter = mezi + view = názor, pohled
• => jedná se o interpersonální kontakt
• Nejčastěji v tváří v tvář
• Nebo i telefonicky
• Rozhovor není přesné synonymum
• Někteří autoři tento termín používají
• Ne každý rozhovor je interview
• Interview je odborný název
28
Co umožňuje interview?
• Umožňuje zachytit fakta
• Plus podrobněji proniknout do pocitů a motivů, postojů
• Lze sledovat vnější reakce respondenta
• Lze usměrňovat kladení otázek
Raport
= Interview závisí na navázání přátelského vztahu a vytvoření otevřené atmosféry
– Chladný, nepřívětivý přístup výzkumníka těžko povede k dobrému interview
• Může vést až k odmítnutí výzkumníka a spolupráce
Obsah interview
• Otázky a odpovědi
• Typy otázek a odpovědí viz téma dotazník
• Typy otázek
• Uzavřené
• Polouzavřené
• Otevřené
• Interview umožňuje pružnost
• Otázku lze v průběhu interview přeformulovat
• Požádat o vysvětlení
• Lze přidat otázky
• Atd.
• Dává se přednost otevřeným otázkám
Kdy dát přednost interview před dotazníkem?
• Potřebujeme bezprostřední, osobní nebo důvěrné informace
• Předpokládá se, že se respondent otevře
• Respondenty jsou osoby, které mají problémy s psaným slovem
• Zrakové problémy, (ještě) neumí číst, psát; negramotní
• Je vysoká pravděpodobnost, že návratnost dotazníku bude malá
• Vzore