– Myndighetene i Xinjiang overvåker uigurene «nesten overalt», blant annet ved hjelp av sikkerhetskameraer med algoritmer for ansiktsgjenkjenning, biometriske kjennetegn og mobilapper, skriver Anders Løland.

Vi må snakke om algoritmeimport

KRONIKK: Et kinesisk selskap skal ha prøvd ut programvare som kan kjenne igjen en forfulgt minoritet ved hjelp av ansiktsgjenkjenning. Kan de ha brukt en bildedatabase fra Microsoft som var ment til noe helt annet?

Publisert

I 2016 la Microsoft ut en samling med 10 millioner bilder av ansikter. Alle som ville kunne laste ned bildene. Microsoft hadde samlet inn bildene for å kunne å trene opp algoritmer for ansiktsgjenkjenning. For forskere innen kunstig intelligens er det svært nyttig med slike store datasett.

I fjor bestemte Microsoft seg for å slette samlinger med bilder av ansiktene, blant annet fordi den kan ha vært i strid med reguleringene i personopplysningsloven (som inkluderer EU-loven GDPR). Siden datasettet kunne lastes ned fra internett, er det imidlertid trolig at det er noen der ute som fortsatt har liggende samlingen med 10 millioner bilder.

Til tross for gode hensikter, var det ufint av Microsoft å samle inn bildene av ansiktene, og det var etter min mening etisk riktig å slette bildene til slutt. Men historien stopper ikke der. Dette er et eksempel på en slags digital arvesynd.

Misbruk av algoritmer

Bildedatabasen til Microsoft har blitt brukt av flere kommersielle aktører, ifølge Financial Times. Dette inkluderer IBM, Panasonic, Alibaba, Nvidia, Hitachi, Sensetime og Megvii. Både Sensetime og Megvii har vært kinesiske tilbydere av løsninger til myndighetene i Xinjiang. Uigurene utgjør cirka 45 prosent av befolkningen i Xinjiang.

Amerikanske myndigheter satte i fjor begge selskapene, samt 26 andre organisasjoner, på en svarteliste på grunn av påståtte menneskerettighetsbrudd i Xinjiang.

The Guardian beskriver hvordan myndighetene i Xinjiang overvåker uigurene «nesten overalt», blant annet ved hjelp av sikkerhetskameraer med algoritmer for ansiktsgjenkjenning, biometriske kjennetegn og mobilapper. En intern Huawei-rapport viser at det kinesiske selskapet har testet programvare for ansiktsgjenkjenning som kan identifisere uigurer, ifølge Washington Post.

Vi vet det ikke, men det kan være at bildedatabasen til Microsoft nå indirekte blir brukt til å overvåke uigurene. I så fall har Microsoft indirekte og uten å ville det bidratt til å bryte menneskerettighetene.

Ugrei algoritmeimport

Her i kongeriket jobbes det heldigvis godt med personvern, blant annet takket være et godt lovverk og et aktivt datatilsyn. Og kanskje jobbes det så godt at vi blir litt seint ute med å ta i bruk kunstig intelligens?

Selv om vi gjør så godt vi kan her til lands, er det en fare vi ikke har snakket så mye om, nemlig det jeg vil kalle ugrei algoritmeimport.

Hva mener jeg med «ugrei algoritmeimport»? La oss si at en norsk bedrift kjøper et kamera for å åpne en dør ved hjelp av ansiktsgjenkjenning. Eller at en annen norsk bedrift kjøper et dataprogram for å lage en robotgrasklipper. Produktet eller tjenesten har lure algoritmer inni seg som fungerer kjempebra.

Men hvordan kan bedriften oppdage at de lure algoritmene er trent opp på data som ville vært ulovlige å både innhente og bruke her til lands? Og uansett om det er lov eller ikke, ville du kanskje sagt at det er uetisk å bruke nettopp de dataene for å trene opp en algoritme?

Vi må ikke tåle så inderlig vel

Det kan være en kort vei fra en overvåkningsalgoritme fra utlandet til en nyttig algoritme til et i utgangspunktet legitimt formål her til lands.

Hvordan kan en norsk bedrift finne ut om den nyttige algoritmen er basert på data fra for eksempel menneskerettighetsbrudd? Det kan være svært vanskelig. Slike hemmeligheter kan være gjemt dypt inne i algoritmen. Det kan til og med skje at alle spor av tvilsomme data er helt borte fra selve algoritmen. Du bør uansett stille svært strenge krav til selgeren av den.

Og hvis bedriften mot formodning skulle klare å finne ut at den nyttige algoritmen har lært fra data fra menneskerettighetsbrudd: Hva gjør bedriften eller dens kunder da?

I Koronaviruspandemien satser vi på å holde avstand til vi har en vaksine. Det kommer ingen vaksine mot ugrei algoritmeimport. Vi kan heller ikke holde algoritmeavstand til resten av verden.

Utviklingen går så fort, litt som med bioteknologien. Jeg har ikke svaret med stor S. Men hvis vi ikke snakker om dette nå, blir vi akterutseilt, til tross for våre gode digitale intensjoner.

Powered by Labrador CMS