Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

I dagens språkundervisning har KI-baserte verktøy som Google Translate og ChatGPT blitt en del av hverdagen, og dette skaper noen utfordringer. Det kan for eksempel være problematisk for lærere å vite om en oversettelse er gjort av en elev eller et dataprogram.

Kan ikke alltid stole på at eleven har skrevet teksten

I en ny studie ble lærere presentert for et utvalg engelske oversettelser av en norsk tekst og bedt om å avgjøre om de var skrevet av videregåendeelever eller av KI.

Lærerne klarte bare å identifisere 58 prosent av oversettelsene korrekt. Tekstene laget av ChatGPT var særlig vanskelige å gjenjenne, av dem ble kun 46 prosent korrekt identifisert som maskinoversettelser.

Lærerne ble også bedt om å forklare hvilke språklige trekk ved oversettelsene de baserte gjetningene sine på, hvorpå visse begrunnelser oftere var knyttet til korrekte svar enn andre.

Hva kan lærere se etter?

Generelt var lærerne bedre på å identifiserte oversettelser gjort av elever enn de som var gjort av en maskin. Og når lærerne gjettet riktig på førstnevnte oversettelser, var de ofte assosiert med bestemte typiske feil elever kan gjøre.

Lærerne forstår for eksempel hvordan elever noen ganger strukturerer setninger når de skriver engelsk. Feil i ordstilling var klare tegn på menneskelig innblanding, mente lærerne.

Som en av lærerne uttrykte det: «`I actually can express’ har en litt norsk ordstilling.»

Grammatiske feil i elevoversettelsene var generelt avslørende for lærerne. For eksempel gjaldt dette feil bruk av konjunksjonene neither/nor.

Stavefeil ga også mange korrekte identifiseringer av elevoversettelser, i og med at dette ikke er typiske feil som oversettelsesprogram vil gjøre.

Ord eller fraser som fremstod som fornorsket eller på andre måter ‘ikke helt engelsk’ (uidiomatisk språk) var også typisk for elevoversettelser. Et eksempel en lærer trakk fram var at «Gathering place er ikke idiomatisk riktig».

Sist, men ikke minst, baserte lærerne sine korrekte gjetninger på graden av avvik i setningsstruktur mellom original og oversettelse:

En lærer pekte for eksempel på at «Her er det noen endringer i setningsstruktur mellom original og oversettelse, og det gjør at jeg tror det er "human touch" involvert her».

Fire trekk skiller

Lærerne mente altså at elever tar seg ‘større friheter’ i å endre på setningsstrukturen enn det maskiner gjør. Denne undersøkelsen tyder på det samme.

Grammatiske feil, stavefeil, uidiomatisk språk og setningsstruktur som ligger langt fra originalen er, med andre ord, trekk ved oversettelser som lærere kan gjøre klokt i å fokusere på, hvis de ønsker å finne ut av om de er elev- eller maskingenererte.

Når lærerne tok feil

Trekk som derimot var assosiert med feil identifikasjon i studien, gikk på ordvalg, grad av formalitet og bruk av sammentrekninger.

For eksempel ble begrunnelsen «for akademisk språk» brukt som argumentasjon for at en oversettelse var maskingenert. Det samme ble begrunnelser som viste til bruk av avanserte ord, slik som for eksempel unfathomable og slither. Dette viste seg ofte å være feilaktige antakelser.

På den andre siden ble uformelt språk og sammentrekninger ofte assosiert med elever. Begrunnelser som «bruken av contraction ‘hadn't’ tyder på en elev» og «bruk av både ‘it's’ og ‘it is’ i samme avsnitt er et typisk elev-trekk» ble brukt feilaktig til å konkludere med at en elev hadde produsert oversettelsene.

Lærere bør altså ikke undervurdere elever eller overvurdere oversettelsesprogrammer når det gjelder ordvalg og grad av formalitet. De bør heller fokusere på konkrete grammatiske feil, stavefeil, uidiomatisk språk og setningsstruktur som skiller seg fra originalen.

Aktuelt fra forskersonen:

Dette kan svekke kritisk kildebruk og selvstendighet

Disse Facebook-postene har bidratt til Sylvi Listhaugs popularitet