UvA laat zien: zo peil je iemand de hemel in!

Afgelopen donderdag stond er opmerkelijk nieuws van de Universiteit van Amsterdam in NRC Handelsblad: voor het eerst is aangetoond dat opiniepeilingen kiezers beïnvloeden. Met alle belangstelling voor peilingen verwacht je dat dit nieuws meteen door anderen werd opgepikt. Maar nee. Op vrijdag? Niets. Op zaterdag dan, in een wetenschapsbijlage misschien? Weer niets en voor zover ik weet nam gisteren alleen Sargasso het stuk over.
Toch is het opvallend wat de UvA-politicologen hebben vastgesteld. Eerder werd wel aangenomen dat peilingen opinies beïnvloeden, maar hoe was min of meer nattevingerwerk.

Nu is duidelijk dat de wijze waarop je peilingresultaten aan mensen voorlegt effect heeft. In samenwerking met EenVandaag werd een experiment uitgevoerd waarbij het zogeheten bandwagon-effect centraal stond. Die term refereert aan de wagens waarop musici door de straten reden om bijvoorbeeld de komst van het circus aan te kondigen. De muziek trok mensen naar buiten, die in optocht achter de wagen aan gingen: het bandwagon- of meelopers-effect.

Bij peilingen wordt met het bandwagon-effect bedoeld dat kiezers de neiging hebben om op goed scorende partijen te stemmen. Een van de manieren waarop dit effect duidelijk wordt ontstaat pas na afloop van verkiezingen. Dan schijnen meer mensen aan te geven dat ze op een partij gestemd hebben dan daadwerkelijk het geval was. Vergelijk het maar met Woodstock, het muziekfestival waar jaren later opeens iedereen ‘bij geweest was’.

Maar terug naar het experiment: 23.000 deelnemers van het EenVandaag-panel kregen een uitgebreide vragenlijst voorgelegd. Vooraf waren de deelnemers willekeurig in groepen verdeeld en één vraag uit de lijst werd per groep anders ingeleid. Een groep kreeg geen extra info, vijf andere kregen allemaal dezelfde, recente peilinguitslag te zien. In een tweede groep was dat alles, terwijl er in de overige groepen iets over de PvdA aan was toegevoegd. Zo werd een groep er op gewezen dat de uitslag nauwelijks afweek van die een week eerder, eentje op de groei sinds Cohen twee maanden eerder vertrok en weer een andere op het verlies van de partij sinds 2010. Niets extreems dus, allemaal legitieme beweringen. Twee concrete voorbeelden:

Info X:
Afgelopen weekend hebben opiniepeilers gepeild op welke partij kiezers zouden stemmen.
De volledige uitslag is als volgt:
[peilingresultaten]

Info Y:
Afgelopen weekend hebben opiniepeilers gepeild op welke partij kiezers zouden stemmen.
Het meest opvallend is de ontwikkeling van de PvdA. Twee maanden geleden stond de partij nog op 14 zetels in de peilingen, vandaag zouden dat er 20 zijn.
De volledige uitslag is als volgt:
[peilingresultaten]

En nu komt het: de steun voor de PvdA week in een groep af van de rest. En terwijl je zou verwachten dat dat de groep was die geen peiling te zien kreeg – wat past bij de veronderstelling dat het kennisnemen van een peiling invloed heeft – bleek het niet die groep te zijn. In alle groepen kreeg de PvdA een steun die rond de 15,2% lag, behalve in de groep die als tekst ‘Info Y’ kreeg voorgelegd, de positieve boodschap. In die groep kreeg de PvdA steun van 17,1%, een verschil van 1,9%, omgerekend rond de drie zetels.

Tom van der Meer en Armèn Hakhverdian schrijven hierover:

"Dit bandwagon effect is statistisch zwak (nipt significant), maar in maatschappelijk opzicht fors: een enkele peiling leidde al tot drie extra Kamerzetels voor de PvdA. Met die extra zetels zou de PvdA in 2010 het voortouw hebben bij de regeringsformatie, niet de VVD. Ook in 2006 was de PvdA met die drie zetels erbij groter geweest dan het CDA."

Ze leggen verder uit waarom die drie zetels in de praktijk nog wel eens hoger kunnen uitvallen. Lees daarover vooral hun hele artikel, dat een uitgebreidere versie is van wat in de NRC verscheen.
Maar denk vooral eens na over de consequenties van de bevindingen. Als één vraag al zo’n invloed heeft op hoe mensen kiezen, dan is de manier waarop in krantenartikelen en op tv bericht wordt over peilingen dus ook heel bepalend.

Dat is op zich niet erg, mensen volgen nieuws in de media per slot van rekening mede om een mening te vormen. Maar het betekent wel dat het belangrijk is dat over peilingen net zo zorgvuldig wordt bericht als over ander nieuws. En daar schort het helaas regelmatig aan. Van der Meer en Hakhverdian noemen enkele voorbeelden van hoe het misgaat. Laat ik er daar een aan toevoegen:

Op 30 juni stond in de Volkskrant een ingezonden stuk van opiniepeilers Peter Kanne en Reinier Heutink over de slordige manier waarop media over peilingen berichten. In dezelfde krant stond een stuk over kiezersonderzoek dat TNS NIPO in opdracht van de Volkskrant uitvoert. In een passage over de mogelijkheid dat kiezers nog van andere partijen overstappen naar de SP staat:

"Ook de Partij voor de Dieren moet zich zorgen maken over een race Roemer-Rutte. Liefst 44 procent van de PvdD-aanhang overweegt de dieren tijdelijk de rug toe te keren als ze daarmee de SP van de VVD kunnen laten winnen. Maar onderzoeker Tim de Beer van TNS Nipo tekent daarbij aan dat het aantal respondenten in dit geval te klein is om stellige uitspraken te doen." [accentuering mz]

Let op de laatste zin. Je vraagt je af waarom het onderwerp überhaupt de krant haalt als het aantal PvdD-stemmers te klein was voor conclusies. Was dat een beslissing van TNS NIPO of van de krant? Hoe dan ook, kijk welk gesprek er diezelfde ochtend op Twitter ontstond:

De opmerking over de PvdD was dus gebaseerd op negen (9) enquêtes, inderdaad te weinig voor stellige uitspraken. En het lijkt misschien een beetje flauw om de tweets met namen en al te laten zien, maar het gaat hier om een eindredacteur van de Volkskrant, een campaign-watcher en twee peilers van TNS NIPO, die in alle openbaarheid tweeten. Als die eerste twee zo'n citaat al niet op waarde weten te schatten, hoe moeten de lezers van de Volkskrant dat dan kunnen? En hoewel het op Twitter plaatsen van het citaat de verantwoordelijkheid van de Volkskrant-redacteur was, is de vraag of uitspraken op basis van 9 ondervraagden wel in zo'n artikel thuis horen. Complimenten overigens voor zijn sportieve 'oké'-tweet.

Dat onderzoek van de UvA nog eens bevestigt wat de gevolgen van slordige berichtgeving kunnen zijn, is dan ook nieuws dat elke journalist in Nederland zou moeten kennen om het daarna te delen met zijn publiek.

Gelukkig is Tom van der Meer iets geduldiger dan ik, hij had desgevraagd zo snel ook nog geen andere pers  verwacht. Hij kreeg wel reacties via Twitter, maar niets van officiële media. Tom van der Meer:

"Ze laten zich de (aantoonbare) verwijten al jarenlang maar aanleunen. Terwijl buitenlandse media het juiste voorbeeld geven. Blijkbaar is juiste informatie minder belangrijk voor de Nederlandse media dan de sensatie van overtrokken en mogelijk onjuiste conclusies. Het meest bezwaarlijke is misschien nog wel dat de oplossing voor media erg simpel is (rule of thumb: verschuivingen kleiner dan twee zetels niet rapporteren, bijvoorbeeld). En er zijn talloze handleidingen online beschikbaar (zoals we op ons blog aangeven)."

Zie ook:
Welke effecten zou een kiesdrempel hebben?
Gemiddeld een zetel ernaast, wat scheelt het? (een reactie op Kanne en Heutink)
Hoe deden de peilers het in 2010? Verschil met uitslag 16 tot 18 zetels