Forestill deg at du ikke får tilbud om en medisinsk behandling basert på en vurdering gjort av en algoritme, men du får ingen forklaring på hva avgjørelsen baserer seg på. Eller se for deg at lånesøknaden din blir automatisk avslått, uten noen indikasjoner på hva grunnlaget for avslaget var.

De fleste vil oppfatte slike avgjørelser som urettferdige. Det er årsaken til at retten til å få en forklaring på algoritmers beslutninger ble innført gjennom EUs personvernforordning i 2018. Men hva om du faktisk blir gitt en forklaring, men forklaringen er for komplisert til å forstås? En uforståelig forklaring.

Hvordan fungerer kunstig intelligens?

Moderne kunstig intelligens blir ofte kritisert for mangel på tolkbarhet. Med tolkbarhet menes evnen til å gi en forklaring på hvorfor man har tatt en gitt beslutning. Hovedkomponenten i moderne kunstig intelligens er en gren av maskinlæring kalt dyplæring.

Den store styrken til dyplæring er å automatisk transformere data på en måte som er gunstig for å utføre en gitt oppgave. For å forstå hva disse transformasjonene er og hvorfor de er viktige, må vi forstå hvordan data blir representert digitalt.

For eksempel, et digitalt bilde blir representert som et rutenett av piksler, som til sammen utgjør det vi oppfatter som et bilde. En piksel er et tall som sier noe om intensiteten og fargen til et gitt punkt i bildet. Vi mennesker er veldig gode til å tolke og forstå bilder basert på denne pikselrepresentasjonen av bildet, og vi kan enkelt gjenkjenne forskjellige objekter i slike bilder.

Datamaskiner derimot, har svært vanskelig for å tolke et bilde basert på denne pikselrepresentasjonen. Og det er her transformasjonene kommer inn. Dyplæring tar bildet og forandrer det til en ny representasjon gjennom en rekke matematiske operasjoner. Denne nye representasjonen er ikke forståelig for oss mennesker, men gjør at datamaskinen faktisk kan forstå og tolke bildet.

Et viktig poeng her er at dyplæring kan finne disse transformasjonene automatisk, uten hjelp fra oss mennesker. Hvis du noen gang har lest om at en datamaskin «lærer», så er det nettopp å finne disse transformasjonene man egentlig snakker om.

Avgjørelser tas uten innsyn

Men disse transformasjonene er et tveegget sverd. For etter at dataen er transformert er det svært utfordrende å nøste opp i hvilke komponenter i den originale dataen som faktisk blir brukt til å ta en avgjørelse. Mangelen på tolkbarhet har ført til at algoritmer basert på dyplæring blir omtalt som «svarte bokser». Betegnelsen kommer av at avgjørelsene deres er lite gjennomsiktig.

For eksempel, algoritmen kan automatisk avgjøre om du får avslag på en lånesøknad basert på data som inntekt og gjeld. Men vi har ikke innsyn i algoritmen til å vite om avslaget var på grunn av for lav inntekt eller for høy gjeld, eller kanskje en kombinasjon. Denne mangelen på innsyn er grunnen til at slike algoritmer blir omtalt som «svarte bokser», vi kan nemlig ikke se hva som leder til en beslutning.

Når forklaringen blir for kompleks

I løpet av de siste par årene har det vært en rivende utvikling innenfor tolkbar dyplæring. Det eksisterer nå en rekke metoder for å forklare prediksjoner fra algoritmer som baserer seg på dyplæring, og tolkbar dyplæring har ofte sine egne sesjoner under de store maskinlæringskonferansene.

Disse fremskrittene er viktige for å kunne designe algoritmer man kan stole på og kanskje til og med lære av. Men de introduserer også en ny og interessant problemstilling: hva skjer når forklaringen som presenteres er for kompleks til å begripe av oss mennesker?

Problemstillingen er aktuell uansett hvilket domene man forholder seg til, men er kanskje mest slående innenfor bruk av kunstig intelligens i helsesektoren. For eksempel, tilstanden til en pasient kan overvåkes gjennom flere titalls variabler som eksempelvis blodprøver og urinprøver. Det kreves mange års erfaring for å forstå det komplekse samspillet mellom disse variablene, og selv da kan det være utfordrenende å fange opp alle detaljene som skjuler seg i dataen.

Gitt nok data, kan algoritmer basert på dyplæring oppdage mønster i disse variablene som kan brukes til å stille diagnoser eller varsle om en tilstand forverres. Og nå kan de også gi en forklaring på hvilke variabler som er viktige for diagnosen eller varslingen som ble gitt.

For eksempel, kan algoritmen indikere at en mulig forverring er sannsynlig som følge av at en blodverdi går opp samtidig som en annen synker. Dette vil igjen påvirke en tredje variabel. I de fleste tilfeller er analysene langt mer avanserte, og for vanlige folk vil det være tilnærmet umulig å forstå disse forklaringene. Selv erfarne klinikere kan også få utfordringer med å forstå alle detaljene i algoritmens forklaring.

Kanskje vi ikke trenger å forstå alt

Å ta innover seg samspillet mellom 50-100 variabler, som også utvikler seg over tid, er rett og slett en svært vanskelig oppgave. Samtidig kan tilfellet være at vi vet at systemet har en svært høy treffsikkerhet, og kommer med informasjon vi burde ta høyde for.

Så hvordan skal vi forholde oss til at det eksisterer informasjon vi burde ta med i en beslutning, men som vi ikke vet helt hva grunner ut i? Skal vi begrense algoritmen til å gi enklere forklaringer, som samtidig kan føre til en lavere treffsikkerhet? Eller skal vi gi algoritmen fritt spillerom, men redusere muligheten til å forstå og undersøke hva beslutningene er basert på?

Man kan også snu på flisa og stille spørsmål om det er nødvendig for oss å fullt ut forstå avgjørelsene til en algoritme. En av dyplæringens gudfedre, Yann LeCun, har luftet ideen om at det ikke alltid er nødvendig å begripe fullstendig en algoritmes avgjørelse. Og i en paneldebatt under Midnattssolkonferansen for pasientnær kunstig intelligens, som ble avholdt 15.-16- juni i Tromsø, påpekte professor ved Universitetet i Oxford David Clifton at vi til daglig benytter oss av teknologi som man ikke forstår hvordan fungerer.

En uvant posisjon for oss mennesker

Det er et spennende poeng, men etter min mening så er det et skille mellom «vanlig» teknologi og teknologi basert på kunstig intelligens. For noen vet hvordan en PET-scan eller GPS fungerer, men et kunstig intelligens-system kan ha oppdaget et mønster som vi mennesker ikke fullt ut har forstått. Altså at det er kunnskap som er tilgjengelig, men som vi ikke klarer å forstå og benytte oss av. Det er en uvant posisjon for oss mennesker å være i, ettersom vi stort sett kan smykke oss med å være den mest intelligente skapningen på denne kloden.

Om utviklingen innenfor dyplæring og tolkbar dyplæring fortsetter i samme tempo som den har for øyeblikket, vil flere interessante problemstillinger lik problemet med uforståelige forklaringer melde seg. Hva gjør vi når to metoder gir motstridende forklaring på prediksjonen til en algoritme? Og hvordan skal vi forholde oss til at en kunstig intelligens kan gi en konkurrerende forklaring til menneskelige eksperter?

Uten en kritisk tilnærming til forklaringer fra en kunstig intelligens kan man ende opp med å lære fra algoritmens feilaktige slutninger, eller ta feil avgjørelser i kritiske situasjoner basert på usikre diagnoser. Det eksisterer allerede mange eksempler på algoritmer som har tatt dårlige avgjørelser basert på en ufullstendig forståelse av data, og det kan bli flere om man ikke har en bevist tilnærming til hvor troverdig og sikker en forklaring er.

LES OGSÅ:

Kode som selv skriver kode: Er det så lurt?

Forskersonen er forskning.nos side for debatt og populærvitenskap