Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

Se for deg at du er en norsklærer som har bedt elevene levere en kort tolkning av Alexander Kiellands novelle «En god Samvittighed» (1880). 

I ett av svarene kretser tolkningen rundt karakteren Carsten Lauritzen. Hans hykleri og dobbeltmoral gjenspeiles av tittelen, forklarer eleven selvsikkert: Han gir til veldedighet, for å sikre sin "gode samvittighet", samtidig som han utnytter sine arbeidere på det groveste. 

Det er bare ett problem: Denne karakteren opptrer ikke i novellen, og handlingsforløpet som beskrives er ikke det novellen skildrer. Det vil alle som har lest teksten umiddelbart oppfatte. 

Hvorfor dikter KI-en? 

Dette eksempelet er ikke oppdiktet, men hentet fra virkeligheten. Årvåkne lesere vil kanskje allerede ha gjettet at eleven her har fått "hjelp" av kunstig intelligens, og dermed sabotert for seg selv. Dette er en konsekvens av at alle elever nå er utstyrt med en personlig desinformasjons-maskin. 

Hvordan kan det ha seg at kunstig intelligens bommer så kraftig?

Fenomenet, som her skaper karakteren Carsten Lauritzen, kalles for hallusinasjon. Dette er begrepet KI-forskere har valgt for å beskrive feilinformasjon som oppstår eller genereres i KI-systemer. 

Man kan mistenke det for å være språklig pynt – det høres jo bedre ut enn løgn – men navnet er også oppklarende: Et menneske som hallusinerer er sjelden klar over det selv. Slik er det også når hallusinasjoner oppstår i KI-systemer: Den kunstige intelligensen vet ikke selv at den hallusinerer.

Hallusinasjon er en iboende del av teknologien

Det finnes mange forskjellige typer kunstig intelligens. Den mest utbredte og kjente i dag er familien av store språkmodeller som kalles Generative Pre-trained Transformers, eller GPT. Høres det kjent ut? 

ChatGPT er et grensesnitt som lar deg “snakke” med en GPT-modell. Funksjonen til en slik språkmodell er å produsere responser som høres ut som menneskeskapt språk. Det gjør den ved å bryte ned språkmønstre fra de store mengdene data den er trent på, til små bruddstykker. 

Bruddstykkene kalles på engelsk tokens – på norsk kan vi kanskje kalle dem polletter. Språkmodellen setter så pollettene sammen igjen på nye måter hver gang den får et spørsmål.

For hver nye pollett gjøres en sannsynlighetsberegning for å avgjøre hva den neste skal være. Stort sett går dette bra, fordi modellen velger polletter med høy sannsynlighet for å følge hverandre. Da produserer GPT-modellen ytringer som gir mening, og er mer eller mindre riktige. 

Imidlertid kan det gå galt, ved at den velger en pollett med lav sannsynlighet. Dette har en selvforsterkende effekt, som kan føre til kjeder av polletter med lav sannsynlighet. 

Språkmodellen vil alltid prioritere å gi brukeren et eller annet svar, uansett hvor lav sannsynligheten er for at den har truffet riktig hele veien. På denne måten oppstår hallusinasjoner, og fenomener som Carsten Lauritzen.

Hvorfor skal vi bry oss om at KI-en hallusinerer?

Hallusinasjoner forekommer i flere kategorier. Matematikkfeil er faktisk den mest vanlige, men de mest iøynefallende er de som kalles ubegrunnede påfunn – altså ren diktning. Andre viktige kategorier er overtilpasning, hvor språkmodellen fordreier informasjon for å gjøre brukeren til lags; og restriktiv filtrering: å tilbakeholde “upassende” informasjon.

Grunnen til at vi må bry oss om KI-hallusinasjoner som fenomen, er at forskning fastslår at dette er en iboende del av teknologien. Det kan ikke elimineres gjennom gode «bestillinger» til KI-en, mer datakraft eller mer treningsdata. Heller ikke ved å endre «innstillingene» på språkmodellen.

Når elever for eksempel bruker Norsk digital læringsarena sin GPT-drevne «Elevassistent», må de hele tiden vurdere hvilken informasjon som er riktig, og hvilken som er hallusinert frem. 

Norsk digital læringsarena (NDLA) er en læremiddelplattform for videregående skole, som eies av alle landets fylkeskommuner (foruten Oslo). Oslo har for øvrig sin egen KI-løsning for skolen, «Osloskolen-GPT», som dermed rammes av de samme utfordringene.

Litterære hallusinasjoner fra prateroboten

NDLAs elevassistent beskrives i sin egen brukerveiledning som et nyttig verktøy for både lærere og elever. Målet er ikke at den skal skrive tekster for elevene, men for eksempel oppsummere lange tekster, eller forklare vanskelige begreper.

I en forskningsartikkel som nå er inne til vurdering, viser jeg at elev-assistenten ikke egner seg særlig godt til disse foreslåtte bruksområdene. Ulike hallusinasjonsfeil gjør at assistenten tvert imot skaper problemer i stedet for å løse dem, og dermed forsinker det faglige arbeidet til eleven.

Ber man elevassistenten om å oppsummere kjente litterære verk, vil den ofte gjøre feil av typen ubegrunnede påfunn, hvor karakterer og handlingsforløp diktes opp. Dersom elever ikke umiddelbart gjenkjenner dette som hallusinasjoner, men i stedet ber om utdypninger – for eksempel om Carsten Lauritzen, vil KI-assistenten dikte videre. 

Feil forekommer også i andre kategorier, og ved andre bruksområder. I Ludvig Holbergs komedie «Jeppe på Bjerget» beklager Jeppe seg over at hans kone «gjør ham til hanrei».

Slår man opp det litt gammeldagse uttrykket hanrei i ordboken, vil man raskt få vite hva det betyr: «Ektemann som kona har vært utro mot». Spør man NDLAs elevassistent om hva det betyr, dikter den i stedet opp en helt annen, feilaktig betydning – uansett hvor spisset spørsmålet er. Dette skyldes at språkmodellens restriktive filtrering oppfatter spørsmålets innhold som seksuelt ladd, og hallusinerer feilinformasjon som svar. 

De sterkeste elevene velger allerede bort KI 

For de fleste elever vil forekomstene av hallusinasjonsfeil gjøre en KI-assistent til et forsinkende mellomledd, heller enn et effektivt læringsverktøy. 

De elevene som innehar den fagkunnskapen man trenger for å oppfatte og ettergå hallusinasjonsfeil, har allerede forstått at KI-verktøy er en hemsko for deres faglige utvikling. De velger det bort. 

Av hensyn til alle de andre elevene burde læremiddelprodusenter og fylkeskommuner gjøre det samme.

Aktuelt fra forskersonen:

Ungdomskriminalitet: Vet vi nok om «svenske tilstander « i Norge?

Dette er Norges farligste yrke