Avslørt av algoritmene: KI-sensorer gir lavere karakterer til studenter med dårlig håndskrift

Norske universitetstestere har i vinter eksperimentert med bruk av kunstig intelligens til å rette og sensurere eksamensbesvarelser, i et forsøk på å gjøre sensuren raskere, billigere og mer konsistent. En fersk rapport fra Institutt for informatikk ved Universitetet i Oslo (UiO) avdekker imidlertid en uventet og alvorlig systemfeil: KI-sensorene diskriminerer studenter basert på den visuelle kvaliteten på håndskriften deres.

Undersøkelsen viser at språkmodeller som oversetter håndskrevne fysiske eksamener til digital tekst før karaktersetting, ubevisst straffer studenter med ujevn eller slurvete skrift ved å gi dem systematisk dårligere karakterer enn det faglige innholdet skulle tilsi.

Den ubevisste «håndskrift-skatten»

I studien ble hundrevis av identiske eksamensbesvarelser skrevet ut med ulike fonter og håndskriftstiler, for deretter å bli skannet og vurdert av de nye KI-sensorsystemene. Resultatene var oppsiktsvekkende konsekvente. Besvarelser med klar, sirlig håndskrift (eller standardiserte datafonter) oppnådde i snitt nesten en hel karakterkarakter høyere enn nøyaktig de samme tekstene skrevet med en mer uordnet og kaotisk håndskrift.

Ifølge forskerne skyldes ikke dette at KI-en har estetiske preferanser, men handler om begrensninger i tekstgjenkjenningsteknologien (OCR).

"Når KI-en sliter med å tyde et ord, gjør den kvalifiserte gjett ut fra konteksten. I denne prosessen oppstår det mikroskopiske feiltolkninger og subtile grammatiske endringer som svekker nyansene i studentens faglige argumentasjon. Resultatet er en ubevisst 'håndskrift-skatt' som rammer urettferdig," forklarer en av forskerne bak rapporten.

Tror KI er mer rettferdig enn mennesker

Funnene slår sprekker i argumentasjonen om at kunstig intelligens automatisk fører til en mer objektiv og rettferdig vurdering enn menneskelige sensorer. Tradisjonelt har man antatt at maskiner er immune mot såkalte psykologiske «halo-effekter» – der en sensor lar seg påvirke av førsteinntrykket eller det visuelle oppsettet.

Rapporten viser imidlertid at KI-en bare har flyttet den menneskelige svakheten over i en teknisk blindsone. Mens en menneskelig sensor ofte vil bruke ekstra tid på å tyde en vanskelig setning for å forstå meningen, vil en algoritme i stedet straffe teksten basert på ren statistisk sannsynlighet for hva det uklare ordet betyr.

Krever full stopp i bruken

Studentorganisasjoner har reagert med vantro på avsløringene, og krever nå at alle forsøk med automatisk KI-sensur stanses umiddelbart inntil teknologien er grundig kvalitetssikret. Det argumenteres for at dette truer rettssikkerheten til studentene, særlig i en tid der mange allerede føler på et sterkt karakterpress.

Universitetsledelsen tar funnene på dypeste alvor og understreker at systemene som testes utelukkende har vært brukt som et supplement, og at ingen endelige karakterer har blitt fastsatt uten menneskelig godkjenning. Studien blir likevel sett på som en viktig advarsel før innføringen av Norges nye KI-lov, som forventes i løpet av året, der systemer som brukes i utdannings- og ansettelsesprosesser vil bli klassifisert som «høyrisko».