Peilingen in de VS - scientific gobbledygook?

Met nog veertig dagen te gaan voor de presidentsverkiezingen in de Verenigde Staten beginnen de gemoederen aardig verhit te raken en dat is zichtbaar in de peilingen. Of zijn het juist de peilingen die de gemoederen verhitten? Afgelopen week leek het daar wel op. Wat is het geval? Na enkele maanden met peilingen waarin Obama en Romney elkaar niet veel ontliepen, worden de verschillen de afgelopen weken groter in het voordeel van Obama. Volgens sommigen niet omdat Obama het beter doet, maar omdat de peilingen bevooroordeeld zijn.

Wordt soms in Nederland met vier peilingen al over overkill gesproken, in Amerika worden honderden peilingen gehouden. En nog veel meer dan hier is het daar een uitdaging om steekproeven samen te stellen die een goede afspiegeling van de bevolking geven. Zijn alle staten wel vertegenwoordigd, alle etnische groepen, arm en rijk, hoog- en laagopgeleiden? Ook zijn de verschillen in peilmethodes veel groter dan hier. De een werkt uitsluitend via internet, de ander ook telefonisch; sommige peilers bellen daarbij alleen vaste nummers, andere ook mobiele, waardoor ze mogelijk andere delen van de bevolking bereiken. Het is dan ook geen wonder dat met zoveel verschillende uitslagen in de V.S. nog veel meer discussie plaatsvindt over de betrouwbaarheid van peilingen.

Een deel van de ophef is ontstaan sinds peilingen aangeven dat Obama wel eens swing states’ als Florida, Ohio en Pennsylvania kan winnen, staten die niet traditioneel republikeins of democratisch stemmen en daarmee doorslaggevend kunnen zijn in november. En nu dat ook doordringt in peilingen van bijvoorbeeld het conservatieve FoxNews, ontstaat gesputter, waarbij peilingen worden afgedaan als 'scientific gobbledygook', wetenschappelijke hocus pocus. Zie Stephen Colbert afgelopen donderdag voor een fraai overzicht:

Is er sprake van vooringenomenheid onder peilers en reden om alle peilingen bij te stellen, zoals in extreme vorm gebeurt op Unskewed Polls? Net als in Nederland treden huiseffecten op, waarbij de ene partij in bepaalde peilingen altijd iets beter scoort dan de andere. Maar die huiseffecten zijn er in beide richtingen en als je maar naar meerdere peilingen kijkt wegen ze aardig tegen elkaar op. Dat is wat Simon Jackman constateert, degene die de methode ontwikkelde voor het vergelijken van peilingen die ook de basis vormt voor de Nederlandse Peilingwijzer van Tom Louwerse. Of beter gezegd: aangenomen dat bij zoveel pelingen gemiddeld de afwijkingen tegen elkaar zullen opwegen, blijken er geen grote peilers te zijn die extreme afwijkingen vertonen. Zo wijst Jackman erop dat de peilingen van Rasmussen, die altijd pro-republikeinser zijn dan de gemiddelde peiling, anders dan vaak gedacht wordt slechts 1.3 procentpunt afwijken. 

Door zijn methode toe te passen op 470 peilingen berekent Jackman een gewogen gemiddelde, waarvan het resultaat continu wordt bijgehouden op de Huffiington Post. Vandaag levert dat het volgende beeld van de campagne tot dusver op:

En wanneer je naar die gegevens kijkt, lijkt de strijd tussen Obama en Romney toch nog geen gelopen race te zijn. Sommige peilingen mogen het dan over een voorsprong van Obama van negen of tien procent hebben, in Jackmans Poll of polls ligt het verschil nu rond de vier procent. Dat is misschien een comfortabele voorsprong, het is nog geen onomkeerbare voorsprong. Ook in de Verenigde Staten geldt dan ook dat je maar beter niet op een enkele peiling kunt afgaan.