Hva en million løste oppgaver forteller om gode oppgaver

Barn har nå løst over en million oppgaver i Mazio Matematikk. Det nærliggende spørsmålet er hvor mye det er øvd. Mer interessant er et annet spørsmål: Hva har vi lært om oppgaver underveis? Bak hver oppgave i Mazio Matematikk ligger en didaktisk modell, en antakelse om hvordan barn tenker og hvor de står fast. Hver besvarelse tester denne modellen. En million besvarelser er en million små prøver av våre egne antakelser, og vi har ikke bestått alle.

To oppgaver, ett tema, en verden av forskjell

To oppgaver i Knobelbox tar for seg samme hovedidé, speiling om en akse. I den ene velger barna det riktige speilbildet: 89 prosent lykkes på første forsøk. I den andre plasserer de selv speilpunktet i rutenettet: 43 prosent, og ingen andre steder ber barn oftere om et hint.

Det er formatet som forklarer denne forskjellen, temaet er det samme. Å kjenne igjen et speilbilde og å konstruere en speiling selv er ulike kognitive handlinger, og mellom dem ligger nettopp den læringsveien undervisningen må gå. For oss som lager oppgaver, ligger det enda en lærdom her: Når både feilandel og etterspørsel etter hint skiller seg ut på samme oppgave, kan det skyldes barna eller oppgaven. Slike oppgaver havner automatisk på sjekklisten vår, for noen ganger er det fremstillingen som er misvisende, mens speilingen i seg selv er overkommelig.

Feil er sjelden tilfeldige

Når mange barn står fast på kombinatorikkoppgaver, kunne man tro at det er tilfeldig spredning. Diagnosen viser noe annet: Det klart vanligste mønsteret er å addere i stedet for å multiplisere. Tre bukser og fire T-skjorter gir da sju kombinasjoner i stedet for tolv. Den samme signaturen finnes overalt: I skriftlig subtraksjon trekker barn det minste sifferet fra det største, uansett hvilket som står øverst. Ved speiling sjekker de bare én side av figuren eller sammenligner lokalt i stedet for å se på hele formen. I sannsynlighet vurderer de «sikkert» som om det var «mulig».

Dette er stabile tankemønstre som lar seg forklare, og som forskningen har beskrevet i flere tiår. Slurvefeil er noe annet. Derfor er det modellert en katalog med 5 178 slike misoppfatninger bak oppgavene i Mazio Matematikk. Et feil svar blir registrert som feil og, når det er mulig, knyttet til et mønster. Forskjellen har praktisk betydning: Mot slurvefeil hjelper repetisjon. Mot en misoppfatning hjelper repetisjon ikke, den gjør bare at den samme feilen kommer enda mer pålitelig. Det trengs oppgaver som gjør mønsteret synlig og løser det opp, og nettopp dette er målet for tilbakemeldingene og hintene fra Mazio.

Én oppgave blir 17 825

En oppgave i Mazio Matematikk er en parametrisert familie av oppgaver. Tallområde, representasjon, oppstilling og distraktorer blir laget ut fra parametere, innenfor didaktisk fastsatte grenser. I Knobelbox alene har barn på denne måten løst 17 825 unike varianter i løpet av et halvt år, og oppgavetypen om bevegelser finnes alene i 1 900 utgaver.

Det beskytter mot avskrift, og det gir mer enn det. Parametere gjør vanskelighetsgraden styrbar: Den samme oppgaveideen kan stilles i tallområdet opp til 20 eller opp til 1000, med runde tall eller med tierovergang, som bilde eller symbolsk. Og de gjør oppgavebanken mulig å analysere, for når en variant systematisk skiller seg ut, viser sammenligningen med søsknene hvor årsaken ligger.

Hvordan adaptiviteten faktisk bestemmer

Adaptivitet høres ofte ut som magi. I Mazio Matematikk er det en nøktern reguleringssløyfe. Hver oppgavetype har sin egen vanskelighetsskala, og tildelingen reagerer på det et barn sist har vist. I dataene kan man sjekke om dette fungerer: Sterkere barn får målbart vanskeligere varianter. Andelen riktige svar holder seg likevel omtrent lik på tvers av alle barn, og det er nettopp hensikten. Hvert barn skal øve i det området der oppgavene verken er trivielle eller tar motet fra det.

Viktig er hva adaptivitet betyr hos oss: mer enn lettere eller vanskeligere. Ofte er den beste reaksjonen på en feil det samme kravet i en annen representasjon, et isolert delsteg eller et kontrastpar. Hvorfor, står utførlig i artikkelen Adaptivitet begynner ikke med «lettere eller vanskeligere».

Hint som fører til tenking

Hint er den mest krevende delen av et læringsmiljø. For lite hjelp frustrerer, for mye hjelp tar over tenkingen. Mazio Matematikk arbeider derfor med en hintstige: først rette oppmerksomheten, så stille et spørsmål om løsningsveien, så tilby en representasjon, så aktivere en strategi. Selve løsningen gis ikke på noe trinn; det siste steget tar barnet selv.

Om stigen holder, kan vi sjekke i forsøkssekvensene, for ved hvert forsøk er det logget om det kom et hint først. Resultatet er tydelig: Etter det første mislykkede forsøket lykkes neste forsøk i 65 prosent av tilfellene med hint og i 46 prosent uten hint. Også justert for oppgavetype gjenstår en forskjell på rundt 14 prosentpoeng, og selv langt nede i stigen, fra femte forsøk, ligger forsøk med hint fortsatt foran.

Den mest interessante delen er mekanismen. Uten hint kommer neste svar etter en feil etter 4 sekunder i median, og det er prøving og feiling. Med hint går det 21 sekunder. Hintet endrer altså både hva et barn vet og hvordan det arbeider: Det avbryter gjettingen og gir tid til å tenke.

I øktene er hjelpen bygd opp annerledes. Der melder Mazio seg av seg selv etter hver feil, med en melding som er didaktisk skrevet for akkurat denne deloppgaven. Over 112 000 slike øyeblikk med feil og nytt forsøk viser tre ting. Etter den første meldingen lykkes godt over halvparten av de neste forsøkene. Om meldingen virker, avhenger imidlertid av om den blir lest: Barn som svarer på nytt innen 30 sekunder, kommer på 38 prosent, de som tar seg mer tid, på 53 prosent. Mange barn svarer raskere enn de rekker å lese, og det gir en konkret produktidé som vi skal teste: en kort pause før neste svar kan legges inn. For det tredje varierer meldingene enormt. På den beste deloppgaven fører hjelpen til løsningen i 92 prosent av tilfellene, på den svakeste i 8 prosent. Nederst finner vi påfallende ofte nivåer om sannsynlighet, der misoppfatningen «sikkert betyr mulig» sitter; dypt forankrede mønstre løses ikke av en tekstmelding. Slike nivåer går rett på listen over det som skal omarbeides, for der en hjelpemelding nesten ikke når fram til noen, ligger problemet ikke hos barnet.

For å være ærlige: Dette er observasjonsdata uten tilfeldig tildeling. Hvilken type hint som virker best når, et delspørsmål, et moteksempel eller en visualisering, kan vi ennå ikke skille fra hverandre; derfor logger vi nå stigen mer detaljert.

Oppgaver blir aldri ferdige

Utenfra virker en oppgave ferdig når den er publisert. I virkeligheten begynner den andre utviklingsfasen der. Hver oppgavetype har en egen mappe hos oss: rapporterte problemer, endringslogg, kvalitetsverdier fra prosessdataene. Skiller en oppgave seg ut i datatriagen, blir den omformulert, erstattet, parametrisert på nytt eller plassert på et nytt vanskelighetsnivå, og neste runde med besvarelser viser om endringen holdt.

Det er den egentlige forskjellen fra en trykt lærebok. Oppgavene i den er like gode som den dagen boka gikk i trykken. En oppgavebank med en million besvarelser bak seg blir litt bedre hver uke, fordi den lærer noe om seg selv av hver enkelt besvarelse.