Wantrouw niet statistiek en peiling, wantrouw de conclusies

Vorige verscheen in de Volkskrant het opiniestuk Wantrouw statistieken, negeer peilingen, geschreven door filosoof Hans Schnitzler. Daarin schetst hij kort dat statistiek best nuttige informatie oplevert, om vervolgens te stellen dat we er niet te veel waarde aan moeten hechten en al helemaal niet aan wat hij "een met wetenschappelijke middelen uitgevoerde hogere vorm van roddelkunde" noemt: de opiniepeiling.

Op het stuk werd zowel met grote instemming als met grote afkeuring gereageerd. Instemming onder meer van mensen die in de praktijk ervaren hoe de toepassing van statistiek negatief kan uitpakken. Bijvoorbeeld wanneer kinderen door schooltoetsen in hokjes gestopt worden, waarin geen ruimte is voor afwijkingen. Het gemiddelde wordt dan tot norm verheven, waarbij iedereen die afwijkt van dat gemiddelde tot abnormaal verklaard wordt, of dat in ieder geval zo ervaart. En instemming van mensen die toch al een hekel aan opiniepeilingen hadden. Sommigen omdat verschillende peilingen niet hetzelfde beeld vertonen, anderen omdat ze de uitslag van de verkiezingen niet voorspellen (ook al pretendeert geen enkele peiling dat te doen) of omdat ze invloed hebben op het stemgedrag.

De afkeuring kwam – zoals te verwachten was – uit de hoek van statistici en opiniepeilers. Eerder deze week online en vandaag ook in de Volkskrant zelf, met een antwoord van Maurice de Hond op Schnitzlers stuk. Zij richten zich vooral tegen de opvatting dat statistici een voorkeur zouden hebben voor uniformiteit, waarbij afwijkingen worden weggevlakt en alles wordt teruggebracht tot gemiddelden.

Simon Otjes en Erik Woldhuis schrijven bijvoorbeeld in De misvattingen van Hans Schnitzler:

"Volgens Schnitzler houdt statistiek een streven naar eenvormigheid in. Hoe de wereld in elkaar zit en hoe de wereld in elkaar zou moeten zitten, zijn echter niet noodzakelijkerwijs hetzelfde.  Dat we sommige fenomenen kunnen beschrijven aan de hand van een normaalverdeling geeft niet aan dat het per se wenselijk is dat dit zo verdeeld is. De normaalverdeling is geen normatief ideaal is, het is een empirisch gegeven. Het beschrijft een boel natuurlijke en maatschappelijke fenomenen. Het is geen instructie voor hoe de werkelijkheid eruit moet zien."

Istvan Hajnal noemt in Over Hans Schnitzler, statistiek en grote voeten enkele misvattingen van Schnitzler over statistiek:
- niet alles draait om gemiddelden, het is eerder de spreiding van gegevens waar statistici belang aan hechten;
- normaalverdelingen hebben niets te maken met normering;
- er is wel degelijk oog voor uitzonderingen. Het zijn juist statistische technieken die laten zien hoe groot (of klein) de kans is dat bepaalde gebeurtenissen zich voordoen, ook de uitzonderlijke.

In reactie op een stuk van Stijn de Vos, Leve de Statistiek! verweert Hans Schnitzler zich door te schrijven:

"Mijn stuk ging over de maatschappelijke betekenis van statistiek, of, om het in de woorden van Arendt te vatten: statistische uniformiteit als maatschappelijk (en economisch) ideaal. Vanzelfsprekend zijn de dingen zelf niet schuldig aan het gewicht dat wij eraan toekennen. Maar dat statistiek (als maatschappelijk fenomeen) normeert en disciplineert, lijkt mij evident. Dat mag misschien een ontaarding van het beschrijvende karakter van deze wetenschap heten; het is wel een ontaarding die er toe doet."

Had hij het nou bij die eerste twee zinnen gelaten, dan hadden we kunnen constateren dat hij zijn stuk dan wel slordig had geschreven, door zo te focussen op de statistiek en niet op de manier waarop anderen soms omgaan met statistische gegevens. Maar in zijn laatste twee zinnen wijst hij toch weer op die normerende rol die statistiek zou spelen. Terwijl hij zelf liever naar afwijkingen kijkt om de wereld en de loop der dingen te verklaren, wat past bij hoe hij in zijn artikel de volkswijsheid omhelst "dat uitzonderingen doorgaans de regel bepalen".

Terwijl afwijkingen alleen maar soms bepalen hoe dingen lopen, we zouden gek worden als dat continu het geval was. Kijken naar gemiddelden is dus zo gek nog niet. Bovendien kijken statistici wel degelijk ook naar uitzonderingen. Maurice de Hond zegt daarover in Schnitzler misprijst 'klootjesvolk':

"Statistiek, mits goed uitgevoerd, helpt onder meer de kansen te berekenen van bepaalde gebeurtenissen. Het is slim bij beleid je zowel te richten op wat vaak gebeurt (rondom het gemiddelde) als rekening te houden met wat er heel af en toe kan gebeuren (bij de uitersten). Denk maar aan de berekening van de benodigde hoogte van dijken in verband met overstromingsgevaar."

Het overstromingsgevaar in Nederland is een mooi voorbeeld van hoe statistiek wel degelijk een rol speelt bij uitzonderlijke gevallen én hoe uitzonderlijke gebeurtenissen mede bepalend kunnen zijn bij regelgeving. In de jaren voor de watersnoodramp van 1953 was echt wel bekend dat het ooit fout kon gaan en dat betere bescherming nodig was. Mede dankzij de statistiek.
Maar vlak na de oorlog had hoge kosten maken om iets te vermijden wat zelden voorkomt, niet de hoogste prioriteit. Na de ramp, de zeldzame uitzondering, veranderde dat, doordat de consequenties van zo'n ramp opeens zichtbaar waren geworden. En zo begonnen we aan de deltawerken. Statistieken dienen daarbij om steeds opnieuw te berekenen hoe groot de kans op een bepaald gevaar is, wat de gevolgen daarvan kunnen zijn en hoe het met specifieke maatregelen anders kan uitpakken. Zo werden in later jaren plannen bijgesteld omdat er inmiddels veel meer mensen in te treffen gebieden woonden. Weer later werden voorzieningen getroffen om nóg uitzonderlijker vormen van watersnood niet zozeer te voorkomen met opnieuw hogere dijken, maar de gevolgen wel zo veel mogelijk op te vangen door te voorzien in gebieden waar grote hoeveelheden water tijdelijk naartoe kan stromen.
Had men slechts naar gemiddelden gekeken, dan was dat allemaal niet gebeurd. Voor de gemiddelde situatie waren de dijken immers hoog genoeg. En dat uitzonderingen als de watersnoodramp van 1953, maar ook latere overstromingen in Limburg of de gevolgen van Katrina in New Orleans de regelgeving beïnvloedden, staat ook vast. Maar de conclusie trekken dat uitzonderingen daarmee de regels bepalen, gaat echt te ver.

Hoe Schnitzler dan verder gaat over opiniepeilingen past ook niet echt in zijn eerdere betoog. Daarbij wil men immers al helemaal niet laten zien wat de gemiddelden zijn. Ja, er wordt gewerkt met steekproeven die gemiddelden gebruiken, maar opiniepeilers proberen echt niet de mening van de hele bevolking terug te brengen naar zo min mogelijk meningen of partijen. Ze proberen juist de verschillen van mening onder de bevolking te laten zien, ook de kleine groepen die op 50Plus of de SGP stemmen. Dat dat misschien beter zou lukken met grotere steekproeven, of wanneer er in plaats van een stemplicht een peilingparticipatieplicht ingesteld zou worden, is aannemelijk. Dat er over tien jaar betrouwbaardere gegevens over partijvoorkeuren in 2012 zijn dan vandaag, ook. En niet alleen omdat in september de peiling met de grootst denkbare steekproef van het jaar plaatsvindt, maar omdat in de toekomst naar het hele jaar kan worden gekeken en bij gegevens die over lange tijd bekeken worden het effect van kleine gebeurtenissen verdwijnt. Maar het idee dat peilers opeens, in tegenstelling tot 'echte' statistici, de afwijkingen tot "mediagenieke regel" verheffen, doet de peilers geen recht.

Dat veel journalisten, consumenten en helaas ook opiniepeilers zelf, de neiging hebben verschillen meer te benadrukken dan de cijfers rechtvaardigen, of conclusies te trekken die niet uit de cijfers voortkomen, is een ander verhaal. Daar zou de discussie eigenlijk over moeten gaan.

N.B. Een mooi overzicht van de besluitvorming rond watersnoodbestrijding en hoe die door diverse gebeurtenissen werd beïnvloed, geeft Ben J.H. Smit in zijn scriptie Veiligheid ten aanzien van overstromingsrisico’s; weerstand versus veerkracht.

Zie ook:
Hoe een journalist soms meer kwaad dan goed doet, of héél misschien voorkomt
UvA laat zien: zo peil je iemand de hemel in!
Gemiddeld een zetel ernaast, wat scheelt het?
Welke effecten zou een kiesdrempel hebben?
Hoe deden de peilers het in 2010? Verschil met uitslag 16 tot 18 zetels

Reacties

-1-  Ernst Anepool:

[Maar het idee dat peilers opeens, in tegenstelling tot ‘echte’ statistici, de afwijkingen tot “mediagenieke regel” verheffen, doet de peilers geen recht.]

Inderdaad dat doet al hun sturende werk in het verleden geen recht, want ze doen het niet “opeens” maar al jaaaaren…

Vooral de laatste verkiezingen was dat duidelijk, een interactieve TV poll met de Hond achter de knoppen, waar hij wist te vertellen dat X-respondenten van de interactie Y stemden, terwijl daar in de vragen niet om gevraagd was, en hij dus hoogstens kon weten wat zijn eigen groep van 3200 stemden, maar niet wat ed mensen die aan dat “tweede scherm” meededen…

Hier een verhelderend stukje van mijn hand over de Conculsie (nieuw nederlandswoord voor Kul-conclusie) dat een aanzienlijk deel van de niet VVD kiezers het VVD program zou steunen, terwijl als je dan aandachtig naar de cijfers kijkt juist ziet dat zelfs de VVD stemmers het niet eens volledig steunen, sterker nog 7 van de 25 onderzochte punten niet eens een fatsoenlijke meerderheid kregen onder de VVD kiezers, en 4 daarvan zelfs niet eens een significante minderheid…

http://www.rodereus.nl/pics/VVD-Programm..

30 Juli 2012 - 17.57 uur

-2-  Punthoofd van de media:

Wantrouw de peilingen. Op bijna geen enkele peiling wordt de SOPN genoemd, ook de media censureerd de partij.Dit is puur kiezersbedrog. Kijk een naar de peiling waar wij wel in staan. Bij stem100% zijn wij al de grootste.Iedereen die boos is op de draaideur politici moet SOPN stemmen.Wij sopn het land schoon.

31 Juli 2012 - 13.45 uur