SP was waarschijnlijk ook gedaald zonder RTL-debat

Zoals beschreven in SP verdubbelt, Roemer heeft spijt. Terecht? kwam Maurice de Hond vorige week maandag als eerste met een peiling over het RTL-debat. De invloed van het debat leek relatief klein: een deel van de kijkers was wel gaan twijfelen, maar tot gewijzigde keuzes had het nog amper geleid. Dinsdag publiceerde TNS NIPO cijfers die lieten zien dat er wel verschil tussen kijkers- en niet-kijkers was geweest, maar dat de invloed op de SP-kiezers minimaal was. En woensdag werd dat nog eens bevestigt door de peiling van De Stemming. Ja, de SP was acht zetels gedaald, maar anders dan het verschil in zetels bij de PvdA leek dit amper beïnvloed te zijn door het debat.

En toen kwam Peil.nl gisteren opeens met een nieuw bericht: Het grote effect van debatten op de kiezersvoorkeuren. Daarin blikt Maurice de Hond terug op 10 jaar Peil.nl aan de hand van een aantal belangrijke debatten in voorgaande verkiezingen én kijkt hij opnieuw naar het RTL-debat. Met als opmerkelijke conclusie:

"Het debat van RTL4 op 26 augustus heeft een forse impact gehad op de kijkers. Met name zien we dat een deel van de winst die de SP had behaald kwijt raakt onder de kijkers naar het debat. Abrupt is de electorale positie van de PvdA duidelijk verbeterd."

"Statistisch analfabetisme in de journalistiek"

In een uitzending van radioprogramma Bijlage op RTV N-H legt politicoloog Armèn Hakhverdian goed uit wat er misgaat in het nieuws rond peilingen in verkiezingstijd. Nee, politicologen hebben geen bezwaar tegen peilingen op zich, ze gebruiken zelf ook graag enquêtes voor hun onderzoek. En nee, dat niet alle peilingen exact dezelfde zetelaantallen geven is ook niet zo'n punt. Elke peiler gebruikt nu eenmaal een andere methode en peilt een andere groep mensen. Zolang je maar naar meerdere peilingen kijkt, de uitslagen combineert en daaruit distilleert wat in grote lijnen de trends zijn, heb je er best iets aan.

Waar het aan schort is vooral goede berichtgeving. Armèn Hakhverdian:

"Er heerst echt een statistisch analfabetisme in de Nederlandse journalistiek. De manier waarop omgegaan wordt met peilingen, de manier waarop die geïnterpreteerd worden en de manier waarop die worden weergegeven is schokkend slecht in Nederland."

Wie neemt u in de maling, het CPB of Maurice?

Naast de debatten waren ook de doorberekeningen van de verkiezingsprogramma's door het CPB in het nieuws deze week. Dus onderzocht Peil.nl in hoeverre kiezers zich door die doorberekeningen laten leiden. "CPB-doorrekening niet van invloed in stemhokje", kopte Novum over de uitslag, in een bericht dat onder meer verscheen op Nu.nl. Een kop die helaas de inhoud van het artikel niet dekte, want een kwart van de gepeilden gaf aan wel degelijk de cijfers mee te wegen.

Dat iemand dat überhaupt durfde toe te geven, is een wonder voor wie de peilinguitslag van Peil.nl heeft gelezen.

SP verdubbelt, Roemer heeft spijt. Terecht?

"Wie de recente geschiedenis van verkiezingen in Nederland kent, weet dat een eenvoudig onderzoekje na een tv-debat zo onschuldig niet is", schrijft Marco Visser vandaag in Trouw in een artikel over hoe debatten en peilingen de stemming in verkiezingstijd bepalen.
Deze week konden we duidelijk zien hoe die invloed ontstaat. Eén fragment uit het RTL-debat werd keer op keer op tv getoond als voorbeeld van hoe Emile Roemer had gefaald. Niet omdat hij de feiten niet beheerste, wat vooraf als een van zijn zwakke punten werd gezien, maar omdat hij even uit het veld geslagen was door de onverwachte reactie van Rutte op zijn openingsvraag.

De kritiek nam toe op het moment dat de bekend werd hoe het debat had doorgewerkt in de peilingen. Althans, dat is wat we overal kunnen lezen. Maar klopt dat ook?

Die Stemwijzer, wie bepaalt de onderwerpen?

Vooruitlopend op de nieuwe Stemwijzer die gisteren gelanceerd werd, publiceerde Prodemos vorige week de onderzoekgegevens die zijn gebruikt om te bepalen welke onderwerpen daarin moesten worden opgenomen. Voor het onderzoek, dat begin juli is uitgevoerd, werd gebruikgemaakt van het EenVandaag Opiniepanel, waarmee de onderzoekers beschikten over gegevens van 28.000 deelnemers.

Deze kregen eerst een open vraag voorgelegd, waarop ze mochten reageren in 500 tekens (ter vergelijking: dit stuk bevat tot aan het haakje openen 480 tekens):

"Welk onderwerp weegt voor u het zwaarst bij het bepalen van uw stem bij de ko`mende Tweede Kamerverkiezingen?"

Wantrouw niet statistiek en peiling, wantrouw de conclusies

Vorige verscheen in de Volkskrant het opiniestuk Wantrouw statistieken, negeer peilingen, geschreven door filosoof Hans Schnitzler. Daarin schetst hij kort dat statistiek best nuttige informatie oplevert, om vervolgens te stellen dat we er niet te veel waarde aan moeten hechten en al helemaal niet aan wat hij "een met wetenschappelijke middelen uitgevoerde hogere vorm van roddelkunde" noemt: de opiniepeiling.

Op het stuk werd zowel met grote instemming als met grote afkeuring gereageerd. Instemming onder meer van mensen die in de praktijk ervaren hoe de toepassing van statistiek negatief kan uitpakken. Bijvoorbeeld wanneer kinderen door schooltoetsen in hokjes gestopt worden, waarin geen ruimte is voor afwijkingen. Het gemiddelde wordt dan tot norm verheven, waarbij iedereen die afwijkt van dat gemiddelde tot abnormaal verklaard wordt, of dat in ieder geval zo ervaart. En instemming van mensen die toch al een hekel aan opiniepeilingen hadden. Sommigen omdat verschillende peilingen niet hetzelfde beeld vertonen, anderen omdat ze de uitslag van de verkiezingen niet voorspellen (ook al pretendeert geen enkele peiling dat te doen) of omdat ze invloed hebben op het stemgedrag.

De afkeuring kwam – zoals te verwachten was – uit de hoek van statistici en opiniepeilers. Eerder deze week online en vandaag ook in de Volkskrant zelf, met een antwoord van Maurice de Hond op Schnitzlers stuk. Zij richten zich vooral tegen de opvatting dat statistici een voorkeur zouden hebben voor uniformiteit, waarbij afwijkingen worden weggevlakt en alles wordt teruggebracht tot gemiddelden.

Hoe een journalist soms meer kwaad dan goed doet, of héél misschien voorkomt

Afgelopen dinsdag grote koppen in het Algemeen Dagblad: "Voorspellingen verkiezingsuitslag altijd fout" en "Peiling per definitie niet nauwkeurig".
Zo, als AD-lezer hoef je het artikel al niet eens meer te lezen en kun je op basis van de kop voortaan al het peilingnieuws overslaan. Het is immers een zooitje met die peilingen.

De intro bevestigt dat:
"Peilingen verdraaien de werkelijkheid, vinden politicologen. Met de verkiezingen in aantocht, zwelt de kritiek aan op de peilbureaus. Ze zouden onnauwkeurig zijn en niet zozeer de trend volgen, maar hem maken. 'Als acht mensen een ander antwoord geven, zakt een partij al een zetel in de peiling.'"’

UvA laat zien: zo peil je iemand de hemel in!

Afgelopen donderdag stond er opmerkelijk nieuws van de Universiteit van Amsterdam in NRC Handelsblad: voor het eerst is aangetoond dat opiniepeilingen kiezers beïnvloeden. Met alle belangstelling voor peilingen verwacht je dat dit nieuws meteen door anderen werd opgepikt. Maar nee. Op vrijdag? Niets. Op zaterdag dan, in een wetenschapsbijlage misschien? Weer niets en voor zover ik weet nam gisteren alleen Sargasso het stuk over.
Toch is het opvallend wat de UvA-politicologen hebben vastgesteld. Eerder werd wel aangenomen dat peilingen opinies beïnvloeden, maar hoe was min of meer nattevingerwerk.

Welke effecten zou een kiesdrempel hebben?

Op het moment wordt gediscussieerd over de vraag of het tijd wordt om een kiesdrempel in te stellen. Er zouden te veel splinterpartijen zijn in Nederland, wat het vormen van werkbare coalities zou bemoeiilijken. 

Aangezien die discussie mede wordt gevoed door de peilingen, kan het geen kwaad eens te kijken wat zo'n kiesdrempel voor gevolgen heeft. Welke partijen zouden er uit de Tweede Kamer verdwijnen en in hoeverre is dan nog sprake van evenredige vertegenwoordiging?

Om een goed beeld te krijgen, kijken we zowel naar de uitslag van de verkiezingen in 2010 als naar de peilingen van dit moment.

Gemiddeld een zetel ernaast, wat scheelt het?

In de Volkskrant van vorige week zaterdag verdedigen opiniepeilers Peter Kanne (TNS NIPO) en Reinier Heutink (Ipsos Synovate) zich tegen de kritiek op politieke peilingen. Ja, peilingen zijn onnauwkeurig, maar dat is inherent aan het gebruik van steekproeven. En ze wijzen terecht op de slordige, soms spektakelachtige manier waarop over peilingen bericht wordt - met wel veel aandacht voor stijgers en dalers, maar weinig voor essentiële informatie als foutmarges.

In de ogen van opiniepeilers is een peiling geslaagd, wanneer hij niet meer afwijkt van het eindresultaat dan de gangbare marges. Dat verklaart ook hoe zij elkaars resultaten kunnen waarderen, ook wanneer deze afwijken van hun eigen resultaten.

Maar zo kijken consumenten niet naar peilingen, of het nou journalisten, programmamakers of kiezers zijn. Zij willen in aanloop naar de verkiezingen het politieke proces volgen en weten hoe groot partijen worden en hoe ze zich tot elkaar verhouden. Daarbij is het niet zo’n punt dat peilingen niet op de zetel exact zijn en slechts trends aangeven, maar wel wanneer drie peilingen met op het oog sterk uiteenlopende trends komen. En wanneer - zoals dit jaar - de peilingen het al niet eens eens zijn over de volgorde qua grootte ontstaat verwarring.