H10 De wet van de kleine getallen

Uitkomsten van onderzoeken worden te gemakkelijk voor waar aangenomen, terwijl men niet geneigd is om vragen te stellen bij de kwaliteit van het onderzoek. Uit een onderzoek naar het voorkomen van nierkanker in 3141 plaatsen in de VS kwam een opvallend patroon naar voren. In dunbevolkte plaatsen kwam het opvallend veel minder vaak voor dan gemiddeld. Het tegenovergestelde bleek ook waar: in dunbevolkte plaatsen kwam het vaker voor dan gemiddeld.
Beide beweringen zijn waar, maar dat komt vooral door de bevolkingsomvang van de plaatsen. Onderzoeken gepleegd in kleine plaatsen leveren vaker afwijkingen op van het gemiddelde.

De logische gevolgtrekking is dan ook dat:

  • Grotere steekproeven zijn preciezer dan kleine steekproeven
  • Kleine steekproeven leveren vaker een opvallend resultaat op dan grote steekproeven

Kahneman gebruikt ter illustratie een pot met evenveel rode en witte knikkers als voorbeeld. Als je willekeurig vier knikkers uit de pot pakt is de kans op een oververtegenwoordiging van rode / witte knikkers groter dan bij een willekeurige greep van tien knikkers.

Desondanks zijn mensen niet snel geneigd vragen te stellen bij stellige conclusies uit onderzoeken. Liever vertrouwen dan twijfel; zolang er geen gevaar te duchten valt zal het luie Systeem 1 een uitspraak voor waar aannemen. Pas als het opvallend onlogisch lijkt komt Systeem 2 in actie.

De wet van de kleine getallen blijkt onderdeel van twee grotere verhalen over de werking van onze hersenen:

  • Het overdreven vertrouwen in kleine steekproeven is slechts één voorbeeld van een grotere illusie. We besteden meer aandacht aan de inhoud van boodschappen dan aan hun betrouwbaarheid en blijven zitten met een wereldbeeld dat eenvoudiger en samenhangender is dan door de feiten gerechtvaardigd wordt. Snel conclusies trekken is veiliger in onze verbeelding dan in de echte wereld.
  • Statistieken lijken te smeken om causale verklaringen, maar lenen zich hier niet voor. Veel feiten zijn toe te schrijven aan toeval, waaronder steekproeffouten. Causale verklaringen voor willekeurige gebeurtenissen zijn uiteindelijk altijd fout.
Share

Geef een reactie