Met gegevens kan je valsspelen, maar niet met de waarheid

Het betreft een studie uit 2012, die aan de hand van twee laboratoriumexperimenten en een veldexperiment suggereerde dat, wanneer je mensen vraagt een verklaring van eerlijkheid bovenaan een formulier te ondertekenen (eerder dan, zoals gewoonlijk, onderaan), ze dat formulier meer waarheidsgetrouw invullen. In de labexperimenten kregen studenten bijvoorbeeld geld naargelang het aantal voltooide raadsels dat ze op een formulier aangaven. Het experiment was zo opgezet dat het mogelijk leek voor de deelnemers om hun prestaties onopgemerkt te overdrijven (in werkelijkheid konden de onderzoekers hun geclaimde resultaten met de werkelijke prestaties vergelijken). In het veldexperiment meldden de klanten van een verzekeringsmaatschappij de stand van de kilometerteller van hun auto(s). In beide gevallen was de informatie die de deelnemers verstrekten meer waarheidsgetrouw (minder voltooide puzzels, een hogere kilometerstand) wanneer de eerlijkheidsverklaring bovenaan het formulier stond.

Op 17 augustus publiceerde Datacolada, een website gewijd aan het kritisch beoordelen van gedragswetenschappelijk onderzoek, een artikel waaruit bleek dat de data van het voorgaande veldexperiment met de verzekering zo goed als zeker verzonnen waren. Het stuk is een mooi staaltje van forensische data-analyse. De auteurs stemden in met de bevindingen van Datacolada. Een van hen is Dan Ariely, zeer bekend in academische kringen en ver daarbuiten dankzij boeken als Predictably Irrational en, ironisch genoeg, The honest truth about dishonesty.

Een interessante draai in dit verhaal is dat de gegevens in kwestie pas in 2020 werden vrijgegeven, toen een paper werd gepubliceerd door een team van zeven, onder wie de vijf auteurs van de originele studie. Hierin werden de twee labexperimenten opnieuw uitgevoerd en de conclusie was dat bovenaan tekenen oneerlijkheid niet vermindert. De originele paper zal nu worden herroepen. Men zou kunnen stellen dat de praktische betekenis van de fraude uiteindelijk beperkt is, omdat naderhand de originele bevindingen niet konden worden ontkend noch bevestigd. Desondanks levert deze affaire nuttige algemene inzichten – niet enkel voor academici, maar voor ons allemaal.

Het werk, niet de persoon

De reacties op de ontdekking waren gevarieerd. Naast genuanceerde en constructieve oproepen tot een grondig onderzoek naar wat misliep en waarom, zodat gelijkaardige situaties kunnen worden vermeden in de toekomst, waren er ook minder genuanceerde. Dan Ariely schuwt de schijnwerpers niet, en hij is bijzonder populair bij de leden van de snelgroeiende gemeenschap van gedragswetenschappers en -specialisten. Dat zorgde bij sommigen voor leedvermaak; Ariely zou te  té populair voor zijn eigen goed en nu van zijn voetstuk vallen. Anderen zagen in de studie een gelegenheid om kritiek te spuien op het hele vakgebied van de gedragseconomie, want dat zien ze als verslaafd aan hype en sensationele voorbeelden van onze zogenaamde irrationaliteit. Beide reacties zijn zelf voorbeelden van de denkneigingen die we allemaal in mindere of meerdere mate vertonen. Als we een persoon (of een zaak) niet goed gezind zijn, dan zullen we algauw negatieve informatie rond hem of haar versterken en die zien als een bevestiging van onze opinie.

De identiteit van een persoon die betrokken is in dubieuze praktijken zou niet ter zake mogen doen, maar de emotionele banden met een persoon kunnen ons oordeel vertroebelen: we lopen vooruit op de zaken (ten voordele of ten nadele van de betrokkene) en hechten te snel geloof aan oppervlakkige speculatie die in onze kraam past.

Mensen reageren op prikkels

Wanneer wanpraktijken worden ontdekt in de academische wereld, komen ook perverse prikkels aan de oppervlakte. Wetenschappelijke tijdschriften publiceren zelden nulresultaten en vereisen bijna altijd dat onderzoek een positief resultaat oplevert. Wie een wetenschappelijke carrière op het oog heeft moet veel publiceren, en dan is de verleiding reëel om de cijfers wat te masseren, om niet al te toegewijd te zijn in het checken van de data, en soms zelfs gegevens te verzinnen. Bovendien leveren sensationele bevindingen de onderzoeker status en roem, wat een prikkel kan zijn die het gedrag beïnvloedt. Andrew Gelman, een bekend kritisch statisticus, verwijst naar het (Lance) Armstrong-principe: “Als je iemand ertoe aanzet meer te beloven dan ze kunnen leveren, dan hebben ze een motief om te sjoemelen.”

Ariely liet naar eigen zeggen na de data te checken op onregelmatigheden. Het zou kunnen dat het nazien van gegevens die door derden worden geleverd werd beschouwd als een taak van lage prioriteit die kon worden overgeslagen, maar dat verzuim was mogelijk ook gemotiveerd door de wens een succesvol onderzoek te kunnen publiceren. Verhoopt succes is een krachtige prikkel.

Het probleem met een gewenste waarheid

Als de analyse van de gegevens datgene bevestigt waarvan we al overtuigd zijn, dan is het zeer menselijk niet zo kritisch te zijn, noch ten opzichte van de data, noch van de analyse. Naast confirmation bias zijn er tal van andere verwante neigingen die ons kunnen aanmoedigen niet zo doortastend te zijn als zou moeten – wishful thinking, selection bias, optimism bias, escalation of commitment en meer – en die allemaal de prikkels versterken die we al hebben om koers te zetten naar een positief resultaat, in academisch onderzoek, op het werk, of thuis.

Maar misschien is de grootste uitdaging wel dat we zo vaak een paard in de wedstrijd hebben, dat we een voorkeur hebben voor een welbepaald resultaat. Als we op zoek zijn naar de waarheid we ons niet te bekommeren om de uitkomst. Wat telt is dat we de waarheid achterhalen, wat ze ook is – daar zit de waarde. Als we ons te zeer gaan hechten aan een zekere theorie of bewering, wordt het moeilijk onbevooroordeeld te blijven doorheen het hele proces – van het formuleren van het probleem of de onderzoeksvraag en het plannen van de aanpak of het ontwerpen van het experiment, tot de uitvoer ervan en het verzamelen en analyseren van de data en het trekken van conclusies.

We kunnen niet hopen de waarheid te vinden als we een voorkeur hebben voor wat de waarheid zou moeten zijn.