Deepfakes er et begrep som stadig oftere dukker opp i medier. Generelt handler dette om videoklipp som viser noe som ikke har skjedd og som er laget ved hjelp av kunstig intelligens (AI) og en teknologi som heter deep learning.

Den første gangen begrepet deepfakes ble brukt var i 2017 av en Reddit-bruker med brukernavn Deepfakes, som hadde laget videoer der en persons ansikt var satt på kroppen til en annen person.

Teknikken kan brukes for eksempel til filmer der Obama fremstilles som om han sier noe han egentlig ikke har sagt. I denne videoen stopper Keanu Reeves et ran:

Men det er «fake». Teknologien som brukes er deepfake-programmer hvor man mater et AI-system med store mengder av bilder av for eksempel Keanu Reeves. Systemet «lærer» hvordan han ser ut i forskjellige situasjoner og kan deretter automatisk generere ansiktet hans slik at det passer inn på et videoklipp av en annen person.

I eksempelet med Keanu Reeves er dette gjort som en spøk. Men det finnes også deepfake-videoer som er laget for å sverte mennesker eller påvirke valg. I slike sammenhenger vil videoen kunne gjøre stor skade, og det pågår mye forskning for å finne måter å avsløre deepfakes på, for eksempel forskningsprosjektet Photofake på Kristiania.

Visuelle effekter i film

Visuelle effekter (VFX) i filmproduksjon handler om å endre filmbildet i etterarbeidet etter at scenene har blitt filmet. I hovedsak gjøres dette ved å legge til nye elementer. Eksempler kan være romskip og dinosaurer, men også bygninger som ikke finnes. Eller man kan gjøre om utseendet på Oslo til slik byen så ut under 2. verdenskrig.

Denne typen visuelle effekter innebærer mye manuelt arbeid. VFX-artister bruker datamaskiner til å lage detaljerte digitale modeller av for eksempel et troll som blir til et videoelement som kan settes inn i filmen. Dette er arbeids- og tid-krevende prosesser. En storfilm med mye VFX kan ha godt over 1000 VFX-ansatte og bruke måneder og år på å få alt ferdig. Det er en dyr prosess.

En type VFX som av og til brukes, er å bytte ut ansiktet på en skuespiller med et annet ansikt. I filmen «The Irishman» ble Robert de Niro, Al Pacino og Joe Pesci gjort om til yngre versjoner av seg selv i en del scener. Filmen hadde et VFX-crew på litt over 300 mennesker, og flere titalls millioner dollar gikk med til jobben.

VFX er dyrt, deepfake billig

Men er ikke dette det samme som deepfakes? Eller appen Faceapp som mange har på telefonen? Kan man ikke bruke deepfake-teknologi til mer eller mindre automatisk å produsere slike scener på kino- eller tv-film i stedet for å bruke hundrevis av mennesker, lang tid og store pengebeløp? Nei. Ikke ennå.

I 2020 la Youtube-brukeren Shamook ut en video der han hadde brukt deepfake-teknologi til å forynge de samme skuespillerne i klipp fra filmen «The Irishman» side med originalene. Klippene ble presentert side ved side.

Skjermdump fra youtube-brukeren Shamook:

Kommentarene på Youtube-siden viser at mange mente at hans versjoner var bedre enn originalklippene som var produsert av VFX-firmaet Industrial Light and Magic (ILM). Alle var riktignok ikke enige.

Noen synes for eksempel at øynene på deepfake-versjonen har mistet noe av livet som er i originalen. Men jevnt over var responsen at dette er minst like bra, og det er gjort av én person på mye kortere tid.

Hvorfor har ILM brukt så mye penger og ressurser når det tilsynelatende kan gjøres mye raskere og billigere? Har Hollywood sovet i timen? Kaster de bort tid og penger?

Filmindustrien og VFX-industrien er veldig konkurranseutsatt og er alltid ute etter å spare penger. Hvis de hadde kunnet kjøre disse scenene gjennom et deepfake-program og fått det de ville, så hadde de gjort det.

Deepfake funker ikke til film

Problemet er at det foreløpig er for store begrensninger. Kvaliteten er for dårlig. Det som ser greit ut på Youtube på en pc, ville ikke funket på Colosseum – på et stort lerret blir unøyaktighetene lett å se. Alt vi ser på Youtube er komprimert. Det er defor lett å overse kvalitetsproblemene i deepfake.

Hvis vi ser nærmere på deepfake-videoer, vil vi se at ansiktet stort sett ser rett på kamera. Profilbilder og for store hodebevegelser er fortsatt problematisk. Lyset bør være relativt flatt uten vanskelige skygger, og det bør heller ikke forandre seg mye.

I tillegg blir deepfake-videoene laget av datamaskiner. Man mister den menneskelige faktoren. En regissør kan instruere skuespillerens ansiktsuttrykk i detalj – en datamaskin kan ikke gjøre det samme.

Slik brukes AI i filmproduksjon

Selv om AI ikke brukes til å lage ferdige filmbilder, er det i bruk som støttesystemer. I «The Irishman» kunne et AI-drevet system gå gjennom et stort bibliotek av bilder av en yngre Robert De Niro for å finne referanser av ham i tilsvarende situasjoner. Deretter kunne VFX-artisten produsere det ferdige bildet.

På den norske filmen Nordsjøen lagde Bergens-firmaet Rebel Unit alle undervanns-scenene. De var 100 prosent digitale. I en scene under vann går en dør opp og vi ser en arbeider som har druknet og flyter i vannet. Den digitale modellen ble produsert av et AI-system basert på et stillbilde. Men det ferdige bildet i filmen ble laget på tradisjonelt VFX-vis.

Hva med fremtiden? Vil vi noen gang se deler av filmbildet eller kanskje hele bildet laget av et deepfake-system? Mye tyder på det. Utviklingen stopper ikke. Men enn så lenge må dyktige VFX-artister fortsatt bidra med sitt krevende håndverk.

LES OGSÅ:

Kunstig intelligens er til stor hjelp ved ultralyd­avbildning av hjertet

Forskersonen er forskning.nos side for debatt og populærvitenskap