"Statistisch analfabetisme in de journalistiek"

In een uitzending van radioprogramma Bijlage op RTV N-H legt politicoloog Armèn Hakhverdian goed uit wat er misgaat in het nieuws rond peilingen in verkiezingstijd. Nee, politicologen hebben geen bezwaar tegen peilingen op zich, ze gebruiken zelf ook graag enquêtes voor hun onderzoek. En nee, dat niet alle peilingen exact dezelfde zetelaantallen geven is ook niet zo'n punt. Elke peiler gebruikt nu eenmaal een andere methode en peilt een andere groep mensen. Zolang je maar naar meerdere peilingen kijkt, de uitslagen combineert en daaruit distilleert wat in grote lijnen de trends zijn, heb je er best iets aan.

Waar het aan schort is vooral goede berichtgeving. Armèn Hakhverdian:

"Er heerst echt een statistisch analfabetisme in de Nederlandse journalistiek. De manier waarop omgegaan wordt met peilingen, de manier waarop die geïnterpreteerd worden en de manier waarop die worden weergegeven is schokkend slecht in Nederland."

Hakhverdian vindt het ook helemaal niet zo'n probleem wanneer peilngen er iets naast zitten. Wel erg is het wanneer peilers de gegevens mooier voordoen dan ze zijn en wanneer journalisten persberichten een-op-een overnemen in plaats van ze te duiden. Hij wijst bijvoorbeeld op de verkiezingen van 2010, waarin de peilingen ruime winst voor de VVD aangaven, terwijl het op de dag zelf een nek-aan-nek-race tussen de VVD en de PvdA werd. Hadden meer kiezers geweten dat de strijd nog zo open lag, dan had dat mogelijk tot een andere keuze geleid.

Datzelfde voorbeeld wordt ook genoemd in de wetenschapsbijlage van de Volkskrant. Dat is niet verwonderlijk, want daar wordt onder meer het bandwagon-effect besproken, de neiging van mensen om voor de winnaar te kiezen. En daar deed Armèn Hakhverdian samen met policitoloog Tom van der Meer onderzoek naar (zie eerder UvA laat zien: zo peil je iemand de hemel in!).
Maurice de Hond en hoogleraar kiezersonderzoek Joop van Holsteyn plaatsen kanttekeningen bij dat onderzoek, dat tot de conclusie kwam dat meer dan de peilingen zelf vooral de berichtgeving over peilingen van invloed is op stemgedrag. Hun kritiek lijkt zich echter meer te richten op de vraag in hoeveer de onderzoeksresultaten direct vertaalbaar zijn naar de praktijk, dan dat ze het hele effect ontkennen.

Zo wijst Will Tiemeijer, auteur van Wat 93,7 procent van de Nederlanders moet weten over opiniepeilingen, erop dat kiezers naast positieve ook negatieve berichten over partijen ontvangen, die het effect juist weer dempen. En ook dat klopt natuurlijk, al kun je je dan nog steeds afvragen in hoeverre peilingen bepalen over welke partijen in de media positief of negatief bericht wordt. 

Dat de peilingen grote invloed hebben, onderschrijven Tiemeijer en Van Holsteyn dan ook wel degelijk. Een kwart van de kiezers maakt een strategische keuze, zo blijkt uit onderzoek dat de laatste samen met Galen Irwin uitvoerde. En voor strategische stemmers is nieuws over peilingen essentieel. Want wat moet je, als je geen idee hebt hoe de machtsverhoudingen liggen? Het is dan ook schadelijk, aldus Tiemeijer, wanneer al vroeg in de verkiezingsperiode winnaars en verliezers worden aangewezen. Wat precies is wat momenteel weer gebeurt, niet alleen op basis van peilingen, maar ook direct na tv-debatten. 

Waar peilers al vaak kritiek krijgen op de manier waarop ze hun onderzoek doen, omdat niet zeker is of ze zo wel de hele bevolking meewegen, geldt dat natuurlijk veel en veel sterker voor de nu opeens opduikende 'uitslagen' na debatten. Er mogen dan duizenden kijkers op het tweede scherm van RTL hebben meegestemd over het lijsttrekkersdebat, niemand weet hoe die groep is samengesteld. "Die kennis is essentieel", aldus de Volkskrant, "want elke statisticus weet: een goede steekproef onder 300 mensen is meer waard dan een slechte steekproef onder 30.000 mensen". Dat tweedeschermuitslagen in de media als meer dan grappige weetjes worden overgenomen, is dan ook absurd. Elke opiniepeiling in Nederland is vele malen betrouwbaarder dan welke online-poll dan ook. Als je maar "common sense gebruikt", om nog eens Armèn Hakhverdian aan te halen.

Zie ook:
SP verdubbelt, Roemer heeft spijt. Terecht?
Wantrouw niet statistiek en peiling, wantrouw de conclusies
Hoe een journalist soms meer kwaad dan goed doet, of héél misschien voorkomt
UvA laat zien: zo peil je iemand de hemel in!
Welke effecten zou een kiesdrempel hebben?
Gemiddeld een zetel ernaast, wat scheelt het?

Reacties

-1-  Coen_de_bruijn@hotmail.com:

Vergeet bij peilingen vooral de confirmation bias niet. We zijn geneigd om informatie te duiden in lijn met onze eigen mening. Gaat een partij omhoog in de peilingen? Dan worden er “feiten” gezocht die deze stijging ondersteunen en verklaren. De kiezer wil de beoogde coalitie niet of juist wel. De stijgende partij heeft een goede campagne, de standpunten vertolken de mening van het volk of de stropdas van de lijsttrekker is erg mooi. Dit levert een selffulfilling prophecy op. Aangemoedigd door al deze mooie verklaringen gaan kiezers opeens nieuwe positieve aspecten aan een partij “herkennen”. De publieke opinie wordt daardoor in grote mate beïnvloed en dat heeft weer effect op de uitslag van de peilingen. Politici en media reageren daar weer op en het cirkeltje is rond.

2 September 2012 - 17.15 uur

-2-  Gyurka:

Zou de volkskrant niet bedoelen “een goede steekproef ván 300 mensen is meer waard dan een slechte steekproef ván 30.000 mensen”? Ik vraag me een beetje af of er mensen zien die voor peilingen een steekproef uit een totaal van 300 mensen trekken, bovendien zouden de cijfers dan meer kloppen met de voorbeelden, denk ik.

3 September 2012 - 13.55 uur

-3-  Marleen Zachte:

@Gyurka: Je hebt gelijk, ik had er zelfs overheen gelezen. Er heeft vast iemand zitten inkorten om het toegestane aantal woorden niet te overschrijden ;-)

Een betere formulering zou zijn:
Een peiling uitgevoerd onder een representatieve steekproef van 300 mensen is meer waard dan een peiling uitgevoerd onder een niet-representatieve steekproef van 30.000 mensen.

3 September 2012 - 14.13 uur

-4-  Gyurka:

Ah, zoiets vermoedde ik al.
Dan snap ik het ook weer beter, dank; ik was al bijna bang dat je de titel eer aan wilde gaan doen. ;)

3 September 2012 - 14.57 uur