«Det er tre typer løgner: løgn, forbannet løgn og statistikk», skriver Mark Twain. Vi mener nok at han plasserer statistikken i et ufortjent dårlig selskap, men det er liten tvil om at gode historier kan skapes basert på statistiske funn. Mark Twain skriver også: «Tall bedrar meg ofte, særlig når jeg har ordnet dem selv». Her er vi nok ved kjernen av et problem.

Den som har en historie å fortelle i mediene, kan lett la seg rive med av spennende tall, for eksempel fra en spørreundersøkelse. Resultatet kan bli nyhetshistorier som er mer spektakulære enn den aktuelle undersøkelsen gir dekning for. Dette er ikke bare av akademisk interesse, for tall som presenteres i mediene bidrar gjerne til meningsdannelsen i samfunnsdebatten.

Fikk folk virkelig mindre tillit til mediene etter VGs Giske-sak?

Det er altså viktig å holde tunga rett i munnen når tall i undersøkelser produseres og presenteres. Vi vil se nærmere på et eksempel fra en spørreundersøkelse som Norstat gjorde for Aftenposten tidligere i vår. Aftenpostens oppslag basert på denne undersøkelsen handlet om hvorvidt folks tillit til mediene generelt, og VG spesielt, hadde endret seg etter VGs dekning av Trond Giske og den såkalte «dansevideo-saken».

Ifølge Aftenposten viste spørreundersøkelsen at tilliten til VG har gått ned etter «dansevideo-saken». Ikke overraskende, kunne man kanskje si. Artikkelen går imidlertid enda lenger og forteller oss at tillitsfallet også har spredd seg til norske medier generelt. Dette siste er kanskje noe mer uventet og maner til ettertanke: Er det virkelig rimelig at noe VG har gjort i en enkeltsak skulle skape en holdningsendring, ikke bare til VG, men også til norske medier i sin alminnelighet?

Kan det være noe med selve undersøkelsen og tolkningen av tallene som har gitt dette resultatet - uavhengig av om tilliten i virkeligheten har stupt, holdt seg stabil eller for den saks skyld skutt i været?

Kunne sagt at halvparten ikke er blitt mer negative til VG

La oss begynne med tallene. Aftenposten skriver at 51 prosent av dem som har svart mener at VGs sak om dansevideoen har gjort dem mer negative til VGs journalistikk. Etter vår mening kunne saken like gjerne vært snudd på hodet. Det er vel minst like interessant at bare halvparten av oss har blitt mer negative når vi tenker på det som har kommet fram om VGs håndtering av den aktuelle saken. Er glasset halvtomt eller halvfullt? Det kommer bare an på hvilken historie vi ønsker å fortelle.

Hva så med synet på norske medier i sin alminnelighet? 37 prosent sier at de nå er mer negative til norske medier generelt. Det er riktignok bare 10 prosent som sier at de i stor grad er mer negative, mens 27 prosent i noen grad er mer negative. En ting er hvordan man skal vurdere hva som ligger i i noen grad. Skikkelig negative betyr det i hvert fall ikke at de er.

Videre, og uavhengig av dette, er det bemerkelsesverdig at Aftenposten ikke nevner det største, og etter vår mening helt forventede tallet i denne fordelingen. Undersøkelsen viser nemlig at så mange som 53 prosent ikke i det hele tatt lar VGs håndtering av dansevideoen påvirke deres generelle syn på norske medier. Men det er jo ikke noe gøy med følgende overskrift: «Bare 1 av 10 har blitt betydelig mer negative til norske medier etter dansevideosaken! Over halvparten av oss har ikke skiftet mening!».

Hvordan vet vi om vi har mer eller mindre tillit enn før?

Så til det vi mener er det vanskeligste spørsmålet i undersøkelsen, nemlig om folks tillit til mediene egentlig har endret seg som følge av VG-saken. Framgangsmåten Norstat har brukt er å spørre folk om de har høyere eller lavere tillit til mediene nå enn for et år siden.

Vi skal holde mye informasjon i hodet på en gang hvis vi skal klare å svare på dette. Vi må for det første spørre oss selv: hvor stor tillit har jeg til mediene i dag? Det skulle ikke forundre oss om dette er noe de færreste har skjenket en tanke før de fikk Norstat på tråden.

Men OK, vi forutsetter at vi vet hvor mye tillit vi har, selv om det er tillit til noe så abstrakt og mangslungent som «mediene». Da dukker neste problem opp: hvis vi skal fortelle at vi har større eller mindre tillit enn for et år siden, må vi også klare å huske hvor stor tillit vi hadde for et år siden.

Vi tror ikke det er realistisk, og her støtter vi oss på psykologen Daniel Kahneman. I boka «Thinking, fast and slow» peker han på at vi slett ikke er så gode til å rekonstruere hva vi visste eller mente på et tidligere tidspunkt. Dette gjelder særlig hvis det har skjedd noe som har gitt oss ny kunnskap eller fått oss til å skifte mening. Det vi tenker nå har med andre ord en tendens til å farge vår oppfatning om hva vi tenkte før.

Ikke et mål på tillitsendring, men et mål på misnøye?

Hvis vi tenker at «dansevideo-saken» burde gjøre oss mer negative til mediene, må vi jo nødvendigvis ha vært mer positive før. Noe annet ville være meningsløst. Etter vår oppfatning har vi antakelig ikke å gjøre med et mål på endret tillit, men mer et slags mål på misnøye (med VG og journalistikken deres).

Vi har sett det samme fenomenet tidligere. I forbindelse med 22.julikommisjonens rapport i 2012 rapporterte VG at tilliten til politiet hadde stupt. Undersøkelsen dette bygget på hadde spurt om hvorvidt folks tillit til politiet hadde gått opp eller ned etter at kommisjonsrapporten ble kjent.

Det omtalte stupet i tillit besto i hvor mange som rapporterte at deres tillit hadde gått ned. Også her kan man lure på om det var en rimelig oppgave å be folk om å beregne forskjellen mellom tidligere og nåværende tillit til politiet.

Antakelig svarte folk egentlig på noe annet, for eksempel hvor stor misnøye de hadde med det politiet som ble beskrevet i rapporten fra 22.julikommisjonen.

Bør heller spørre om tillitsnivået flere ganger over tid

En bedre framgangsmåte for å måle tillit og tillitsendring er å stille direkte spørsmål om tilliten til noe (for eksempel mediene eller politiet) her og nå. Dersom man gjør dette flere ganger over tid, kan man si noe om hvorvidt tilliten går opp eller ned.

Ved å spørre før og etter en hendelse om hvor stor grad av tillit folk har, har vi et utgangspunkt for å danne oss et bilde av den reelle tillitsendringen i befolkningen. Flere undersøkelser, blant annet vår egen, gjorde nettopp dette i forbindelse med 22.julikommisjonens rapport, og ingen av disse fant noe man kunne kalle et stup i tillit. Folks tanker om politiet ble, ikke uventet, påvirket av kommisjonsrapporten, men ikke så mye som målingen i VG tydet på.

Nyttige historier og lure tall, ikke tall som lurer oss

Eksemplene våre viser at utforming av gode spørsmål og sindig tolkning av tall er krevende, men like fullt nødvendig. I boka «Mål og mening» gir Ottar Hellevik mediene noen gode råd i arbeidet med funn fra spørreundersøkelser. Det første er å sørge for at de som skriver om slike undersøkelser har god kunnskap om samfunnsforskning.

Vi tror at det vil sikre kvaliteten i både undersøkelser, tolkninger og presentasjoner. Hellevik peker også på at redaksjonene må motstå fristelsen til å anrette tallene på måter som passer for å produsere «gode» saker og pirrende overskrifter.

Kort fortalt: kyndig og nøktern framstilling av statistikk vil gi oss nyttige historier og lure tall - i stedet for tall som lurer oss.