Umræðutímaverkefni 8 - Þitt eigið… lokapróf
Byrjum tíman á því að rifja upp grein úr einu virtatasta vísindatímariti heims, frá því í nóvember, 1960.
Heimild: Von Foerster, H., Mora, P. M., & Amiot, L. W. (1960). Doomsday: Friday, 13 November, AD 2026: At this date human population will approach infinity if it grows as it has grown in the last two millenia. Science, 132(3436), 1291-1295.
Þetta kemur málinu ekkert við, en getur komið sér vel að vita, ef Foerster, Mora og Amiot hafa rétt fyrir sér.
Ef þú ert að lesa þetta eftir 13. nóvember, 2026, hefur heimurinn lifað af og Foerster og félagar þurfa að endurskoða kenningu sína.
Smíðum lokapróf
Í þessum tíma verður verkefni ykkar að búa til prófspurningar sem þið getið ímyndað ykkur að kæmu á lokaprófi í tilraunasálfræði.
Hver hópur býr til eina spurningu á hvern hópmeðlim. Þið getið unnið að þeim öllum saman, eða skipt með ykkur verkum. En allir hópar ættu að fara yfir allar spurningar, áður en þær eru sendar inn.
Spurningarnar eiga að vera á eftirfarandi formi:
Spurningastofn
Svarmöguleiki 1
Svarmöguleiki 2
Svarmöguleiki 3
Einn svarmöguleiki á að vera merktur með *, sem gefur til kynna að það sé rétt svar.
Þið skilið prófspurningunum ykkar í Word skjali hér: https://forms.cloud.microsoft/e/cX0Nf4ZUsD
Hver hópur þarf aðeins að skila einu skjali með öllum spurningum. Reynið að skrifa spurningar upp úr mismunandi köflum kennslubóka, svo að prófið verði ekki of einsleitt.
Keppum í prófagerð og tilraunasálfræðilegri þekkingu
Kennari afritar spurningarnar inn í prófaham á Microsoft Forms og býr til próf úr öllum spurningunum.
Þið svarið prófinu eftir bestu getu, enda verður hópurinn með hæstu meðaleinkunnina krýndur sigurvegari í flokknum tilraunasálfræðileg þekking.
En það er annar titill, sem er kannski ennþá mikilvægari. Sá hópur sem býr til bestu spurningarnar, eða þær spurningar sem greina best á milli stúdenta (hafa hæsta aðgreinistuðulinn), fær titilinn prófagerðarmeistarar.
Hvernig eru góðar spurningar í krossaprófi
Próf, hvort sem þau eru sálfræðileg próf eða próf í námi, gera jafnan mest gagn ef þau eru aðgreinandi, þ.e. að þau greini vel á próftaka. Kvíðapróf þarf að gera skýran greinamun á þeim sem hafa engan, vægan og alvarlegan kvíða. Próf í skólum þurfa að gera greinamun á þeim sem hafa mikla, miðlungs og litla þekkingu/færni/leikni í því sem verið er að prófa úr.
Í okkar tilfelli erum við aðeins að spá í nokkrum spurningum, en ekki heilu prófi. Því einbeitum við okkur að aðgreinistuðli, sem er mælikvarði á hversu vel einstaka spurningar greina á milli próftaka.
Spurningar með háan aðgreinistuðul eru oftast miðlungsþungar spurningar. Ef spurning er of létt, geta langflestir svarað henni rétt og það verður lítil aðgreining (gólfhrif). Ef spurning er of erfið geta mjög fáir svarað henni rétt og það verður lítil aðgreining (rjáfurhrif). Ef spurning er miðlungserfið, er líklegt að þeir sem hafa mesta þekkingu svari rétt, en þeir sem eru verr undirbúnir velji rangt svar.
Og til að fá þetta til að ganga upp, þarf auðvitað að passa upp á að spurning sé ekki ruglingslega orðuð og að svarmöguleikarnir séu trúverðugir.
Auðvitað er miklu fleira sem skiptir máli við prófagerð og sumt verður kennt í Próffræði PRÓ0176. Þetta eru bara áherslurnar sem ég lagði fyrir þennan staka umræðutíma, því þær krefjast ekki langrar ígrunduar og mikillar bakgrunnsþekkingar.
Svona fór tíminn fram:
Í upphafi tímans fór ÁGÁ yfir þetta skjal og útskýrði “leikreglurnar”. Stúdentum var skipt í fjóra hópa (3-4 manna) og unnu að því að skrifa prófspurningar í um 40 mínútur. Spurningum var skilað á Forms og ÁGÁ setti þær inn á nýtt Forms skjal, sem próf (quiz). Allir stúdentar svöruðu svo prófinu á 10 mínútum.
Þegar prófinu var lokið færði ÁGÁ gögnin í gervigreind. Að þessu sinni var það Gemini, þar sem Copilot lá niðri (líklega vegna allherjarkrísu hjá Microsoft). Nöfn stúdeta voru fjarlægð áður en gögnum var hlaðið í Gemini. Gervigreind reiknaði meðaleinkunn hópa og aðgreinistuðul hverrar spurninga. Hóparnir gátu ekki fengið stig fyrir að svara eigin spurningum. Því var meðaleinkunn reiknuð sem hlutfall réttra svara á spurningum annarra, þar sem einn hópur bjó til fleiri (fjórar) spurningar en hinir þrír (þrjár).
Hópurinn sem svaraði hlutfallslega flestum spurningum rétt var með 69,4% í meðaleinkunn.
Hópurinn sem bjó til bestu spurningarnar var með meðaltals aðgreinistuðul upp á 0,53.
Mest aðgreinandi spurningin var með aðgreinistuðul upp á 0,83 og næsta á eftir 0,82.
Það eru nokkrar leiðir til að reikna aðgreinistuðul, en hér var notuð item-rest biserial correlation.
Gemini útskýrir hana svona
1. Útilokun höfunda (til að koma í veg fyrir skekkju) Fyrir hverja spurningu voru svörin frá þeim hópi sem samdi hana tekin alveg út úr jöfnunni. Hópur á ekki að geta hækkað aðgreinistuðul sinnar eigin spurningar með því að kunna svarið við henni.
2. Einkunn á tiltekinni spurningu (Item) Fyrir hvern eftirstandandi nemanda er skráð hvort hann svaraði þessari tilteknu spurningu rétt (1) eða rangt (0).
3. Einkunn á afgangi prófsins (Rest) Næst er reiknuð meðaleinkunn nemandans á öllum öðrum spurningum sem hann mátti svara. Spurningin sem verið er að prófa er ekki tekin með í þessari heildareinkunn. Ef hún væri tekin með (“Item-Total” fylgni) myndi það búa til gerviháa jákvæða fylgni því spurningin væri borin saman við sjálfa sig, sem skekkir mælinguna talsvert mikið á svona stuttum prófum.
4. Fylgnin reiknuð (Correlation) Að lokum er reiknuð hefðbundin Pearson fylgni (r) á milli 2. og 3. skrefs. Við skoðum fylgnina á milli þess að fá þessa tilteknu spurningu rétta og að vera með hátt skor á afgangnum af prófinu.
Hvernig stúdentar ættu að túlka niðurstöðurnar:
Hár og jákvæður stuðull (t.d. yfir 0,30): Spurningin er frábær. Hún greinir vel á milli þeirra sem kunna efnið vel (og fá hátt á afgangi prófsins) og þeirra sem kunna það síður.
Stuðull í kringum 0: Spurningin er gagnslaus sem mælitæki. Það er hrein tilviljun hvort sterkir eða slakir nemendur á prófinu svara henni rétt. (Oft spurningar sem eru of auðveldar og allir geta, eða spurningar þar sem verið er að giska í blindni).
Neikvæður stuðull (t.d. undir 0): Spurningin er “gölluð”. Þetta þýðir að þeir nemendur sem standa sig almennt vel á prófinu eru líklegri til að svara þessari spurningu rangt. Þetta bendir nánast alltaf til þess að spurningin sé tvíræð, ruglandi, eða að nemandi með dýpri skilning sjái galla á “rétta” svarinu sem veikari nemendur sjá ekki. Spurning 4 er dæmi um þetta í þeirra gagnasetti.