Gemiddeld een zetel ernaast, wat scheelt het?

In de Volkskrant van vorige week zaterdag verdedigen opiniepeilers Peter Kanne (TNS NIPO) en Reinier Heutink (Ipsos Synovate) zich tegen de kritiek op politieke peilingen. Ja, peilingen zijn onnauwkeurig, maar dat is inherent aan het gebruik van steekproeven. En ze wijzen terecht op de slordige, soms spektakelachtige manier waarop over peilingen bericht wordt - met wel veel aandacht voor stijgers en dalers, maar weinig voor essentiële informatie als foutmarges.

In de ogen van opiniepeilers is een peiling geslaagd, wanneer hij niet meer afwijkt van het eindresultaat dan de gangbare marges. Dat verklaart ook hoe zij elkaars resultaten kunnen waarderen, ook wanneer deze afwijken van hun eigen resultaten.

Maar zo kijken consumenten niet naar peilingen, of het nou journalisten, programmamakers of kiezers zijn. Zij willen in aanloop naar de verkiezingen het politieke proces volgen en weten hoe groot partijen worden en hoe ze zich tot elkaar verhouden. Daarbij is het niet zo’n punt dat peilingen niet op de zetel exact zijn en slechts trends aangeven, maar wel wanneer drie peilingen met op het oog sterk uiteenlopende trends komen. En wanneer - zoals dit jaar - de peilingen het al niet eens eens zijn over de volgorde qua grootte ontstaat verwarring.

Dit verschil in perspectief blijkt mooi uit de manier waarop Kanne en Heutink tegen de laatste peilingen van 2010 aankijken. Ze geven toe dat iedereen er wat de PVV betreft naast zat, maar dan komt het:

“Bij de overige partijen zaten we er gemiddeld 1 zetel per partij naast, een mooi resultaat. Met een 'glas-is-half-vol-blik' kun je je er over verwonderen hoe het mogelijk is met een steekproef van rond de 1.000 het gedrag van miljoenen kiezers zo nauwkeurig te voorspellen.”

Zie eerder op Peilloos over die laatste peilingen in Hoe deden de peilers het in 2010?. Maar laten we eens iets beter naar die ene zetel verschil kijken, want vergelijkbare redeneringen gebruiken peilers wel vaker om hun gelijk aan te tonen. Het onhandige daarbij is nou juist dat het om een gemiddelde gaat, dat daarin de partij waarbij het het meest misging niet is meegeteld en dat het ook nog eens om een afgerond gemiddelde gaat. Zo kan iedereen zich rijk, of in dit geval nauwkeurig rekenen.

Hier de cijfers uit 2010 waarbij wel alle partijen zijn meegerekend en iets minder sterk is afgerond:

Afgerond op nul cijfers achter de komma, komen de Politieke Barometer en TNS NIPO hier netjes op een gemiddelde afwijking van 1 zetel en Maurice de Hond op 2. Maar bij de grootste drie partijen zaten Maurice de Hond en de Politieke Barometer er gemiddeld wel 3 zetels naast en TNS NIPO 4. Dat mag dan binnen normale onzekerheidsmarges liggen, maar is toch iets anders dan 1 zetel.

En waar dit gemiddelde niets over zegt, is de verhouding tussen de partijen onderling. En dat is nu net wat peilingen voor kiezers interessant maakt. De PvdA 'voorspelden' alle drie de peilers vrijwel goed. Maar dat het er zo om zou spannen tussen VVD en PvdA was niet duidelijk. Bij de Politieke Barometer was het verschil tussen VVD en PvdA 3 zetels, bij Maurice de Hond 4 en bij TNS NIPO zelfs 7. De PVV werd door de peilers 3 tot 7 zetels lager ingeschat dan het CDA, maar eindigde 3 zetels hoger. En dat alles één dag voor de verkiezingen!

Eerdere peilingen met de einduitslag vergelijken is niet helemaal eerlijk, maar toch laten de volgende grafieken naast de gemiddelde afwijking van de laatste dag ook die van een en twee weken voor de verkiezingen zien. Zie het maar als wat we zouden weten wanneer peilingen in de laatste een à twee weken niet meer werden gepubliceerd. Om te beginnen afgeronde gemiddelden:

Grafiek 2: Gemiddelde afwijking in peilingen 1 dag, 1 week en 2 weken voor de verkiezingen t.o.v. de einduitslag

De volgende met dezelfde gegevens, maar iets minder afgerond, net als in grafiek 1:

Veertien dagen voor de verkiezingen was de gemiddelde afwijking dan bijna tweeënhalve zetel en bij drie van de grote partijen lag de afwijking tussen de zes en zeven zetels. Wat ik liever zou horen van peilers dan dat ze het heus wel goed deden, is wat er sindsdien is gebeurd. Zijn nog zoveel mensen van mening veranderd of is alleen het aantal 'weet niet's fors gedaald en stemmen die anders? En hoe zit het met die onpeilbare PVV'ers die Kanne en Heutink in de Volkskrant noemen, wordt het beeld dit jaar om dezelfde reden opnieuw sterk vertekend? Heutink geloofde in 2010 al niet meer in het gordijntjes-effect. Bestaat het dan toch nog, of speelt er iets anders? Naar de antwoorden kun je als kiezer nu slechts gissen, terwijl ze wel mede bepalen hoe je naar peilingen moet kijken.

Pleit ik dan voor een verbod op peilingen vlak voor de verkiezigen? Nee. Maar wel voor betere informatie. Wijzen naar onzorgvuldige media en zeggen dat je eigenlijk heel goed bent is gemakkelijk en verandert zo weinig. Opiniepeilers zouden ook de uitdaging kunnen aannemen om journalisten en programmamakers nog beter - en vooral steeds opnieuw - op de mitsen en maren te wijzen. Want die weten wel dat er iets met nauwkeurigheid en zorgvuldigheid speelt, maar daar besteden ze dan een programma of artikel aan en gaan vervolgens op de oude voet door. Dan is duidelijk toch niet helemaal is doorgedrongen hoe groot die onzekerheid wel is.

En ook peilers zelf dragen bij aan de spektakelgeest. Zij zouden formuleringen als 'wanneer er nu verkiezingen werden gehouden' niet meer moeten gebruiken en niet steeds moeten wijzen op minieme verschuivingen waarvan wij dan moeten begrijpen dat ze insignificant zijn. En het helpt wanneer ze begrijpen dat consumenten het meestal over 'de peilingen' hebben en zelden over hun specifieke peiling. Dat draagt mede bij aan de grote verwarring. Dat is misschien niet leuk, maar wel de realiteit. Alles afschuiven op slordige media, is net iets te kort door de bocht.

N.B. De gemiddelden in de grafieken hier zijn ook niet echt nauwkeurig, omdat ze allemaal zijn berekend op basis van hele zetels. Maar omdat dat nu eenmaal de enige cijfers zijn die we van peilers krijgen, zijn dat wel de beeldbepalende gegevens.