Den 5. august skrev Andreas Ulfsten at ledere må være kritiske til analyser. Han skrev blant annet at «ledere forventes å kritisk vurdere analysen og dens antagelser. Man skal være forsiktig med å trekke generelle konklusjoner basert på disse observasjonene.»

Ulfsten har rett. Vi mennesker har begrensede kognitive evner. Og felles for oss alle sammen, er at hjernen vår ofte leder oss til å finne sammenhenger i dataene som ikke eksisterer, til å diskreditere alternative forklaringer, og til å akseptere forventede utfall for lett. For ikke å glemme at det er mye informasjon vi ikke vet at vi ikke vet.

Men problemene strekker seg dypere enn som så – og roten til problemet stammer fra akademia.

Vi kan ikke bygge videre på feilaktige resultater

I 1675 skrev Isaac Newton, «Hvis jeg har sett lenger, er det fordi jeg har stått på skuldrene til kjemper». Med dette mente han at forskningen hans ble muliggjort fordi han var i stand til å bruke den eksisterende kunnskapen som grunnlaget han bygget sin egen på. Det er essensielt at denne eksisterende kunnskapen er solid – ikke bare for å nærme oss Sannheten, men også for å bygge tillit både innenfor og utenfor akademia.

Dessverre er samfunnsvitenskap og medisin i en tillitskrise. Denne tillitskrisen fikk spesielt mye oppmerksomhet da John Ioannidis ved Stanford universitet i 2005 viste hvorfor de fleste forskningsresultater er feilaktige. Vi forskere er rett og slett ikke åpne nok om forskningsdesignet, metodikken, og dataene våre. Og når verden som helhet bygger på feilaktige forskningsresultater eller bruker analysemetoder på galt vis – slik mange forskere også gjør – kan vi altså ikke stå på skuldrene til eksisterende kunnskap i samme grad som før.

Vi motiveres og måles på feil måte

Tillitskrisen skyldes blant annet at vi forskere har feil insentiver. Stipendiater må ha et gitt antall publiseringsklare artikler klare før de disputerer, seniorer måles av instituttet etter antall publiseringer og kvaliteten på tidsskriftet, og forskningssentre konkurrerer med andre forskningssentre om å publisere først.

Vi blir derfor verken insentivert nok til å lære oss nye arbeidsmetoder som gjør forskningen vår mer åpen til omverdenen, eller insentivert til å dele data og informasjon om arbeidet som ligger bak artikkelen vi sender inn. På grunn av tidspress, ønsker heller ikke fagfeller dette underliggende materialet når de vurderer innsendte bidrag. De vurderer derfor ofte kun artikkelen alene – en vurderingsmetode som ligner på å kjøpe en bruktbil uten å prøvekjøre den.

Vi har tillit til feil type metoder

Tillitskrisen skyldes også at vi er for tilbakeholdne med informasjon når vi analyserer resultatene. I forskningslitteraturen råder det en oppfatning om at kun statistisk signifikante resultater publiseres. "Intet nytt under solen"-resultater er dessverre ikke interessante nok.

Det medfører et jag etter signifikans, og denne måles ofte kun etter P-verdi. Ulempen er derimot at mange – inkludert oss forskere – feiltolker både hva P-verdien faktisk betyr og hva intensjonen med den er. Å titte på om P-verdien er signifikant nok burde altså ikke brukes alene til vitenskapelige konklusjoner eller til å ta forretningsmessige beslutninger.

Problemet forsterkes av at vi kan finne på å lete etter signifikans ved å bygge en rekke ulike modeller frem til vi finner en interessant en. Denne fremgangsmetoden er sterkt tvilsom og kalles passende nok for P-hacking.

Metoden bør unngås fullstendig med mindre man har dokumentert alle stegene man tok og alle vurderinger man gjorde for å komme frem til denne modellen, og gjerne samler inn nye data for å teste om det interessante funnet gjelder for de nye dataene også. Men det er det få som gjør, og det forsterker tillitskrisen videre.

Tror vi er nærmere Sannheten enn det vi er

Det gjøres selvfølgelig fremskritt for å løse flere av disse problemene, men fremskrittene er for langsomme og flere av tiltakene har ikke den tiltenkte effekten. Konsekvensen er at mange av oss forskere i dag lever en løgn hvor vi tror resultatene våre er nærmere Sannheten enn de faktisk er.

Det er først når vi får løst denne tillitskrisen at vi igjen kan stå på skuldrene til kjemper. Og ledere kan få bedre analyser.