Het werk van VU-kringloop-wetenschapper Peter Nijkamp en veelschrijver werd nauwkeurig gefileerd, een klusje dat de VU zelf maar half had geklaard. In NRC Handelsblad sloopte Frank van Kolfschooten Nijkamp door een steekproef van artikelen aan onderzoek te onderwerpen. De Volkskrant checkte 115 publicaties van Nijkamp en ontdekte ook massale zelfcitatie en onzorgvuldig brongebruik.
Dat onderzoek zelf op de journalistieke pijnbank gelegd wordt, is relatief zeldzaam. En als het al gebeurt, zijn het de wetenschapsredacties die zich daarmee bezig houden. Maar ook elders in de media wordt veel verwezen naar onderzoek, niet alleen van wetenschappers, maar ook van onderzoeksbureaus en bedrijven. Ook dat onderzoek verdient een echte journalistiek behandeling: checken in plaats van overschrijven.
Vorige week schreef ik over een ‘onderzoek’ waarin aangetoond zou zijn dat Facebook massaal door jongeren zou worden verlaten. Dat bericht vond zijn weg naar veel media. Een speurtochtje toonde aan dat het ‘onderzoek’ bestond uit gesprekken met een klein aantal 17- en 18-jarigen in een dorpje ten noorden van London.
Mijn conclusie was dat journalisten dol waren op ‘sexy’ onderzoeksresultaten maar die onderzoeken zelf niet checkten. Niet iedereen was het daarmee eens, Arnoud Wokke van Tweakers vond dat ik alle journalisten over één kam scheerde.
@PietBakker bij gebrek aan specificatie van het woord ‘journalisten’ lees ik daar ‘alle journalisten’
— Arnoud Wokke (@arnoudwokke) 30 december 2013
De kritiek op het ongecheckt overnemen van onderzoeksresultaten komt echter niet uit de lucht vallen. Theo Dersjant op Twitter: “Factcheckers tonen dit al een paar jaar aan.” Een paar dagen eerder had ik me bij het Twitter-onderzoek van de Volkskrant ook al afgevraagd waarom de curieuze gegevens zonder uitleg over de methode werden gepresenteerd. Iets soortgelijks concludeerde de Volkskrant ombudsvrouw over het scholenonderzoek van de krant: geen uitleg over hoe onderzoek was gedaan.
Collega Chris van der Heijden schreef eerder over het witte jassen-syndroom: resultaten worden klakkeloos overgenomen, de onderzoeken zelf zijn niet gelezen, laat staan dat ze gecontroleerd worden.
Ontzag voor onderzoekers
Ik durf die uitspraak wel aan: onderzoeken komen vaak ongecheckt in de media. Belangrijker is de vraag waarom dat gebeurt.
Van der Heijden suggereerde dat journalisten te veel ontzag voor onderzoekers hebben om kritisch naar hun resultaten te kijken. Op Twitter werd ook gesteld dat het misschien aan de opleiding zou liggen.
Beide verklaringen overtuigen niet. Journalisten hebben weinig ontzag voor wie dan ook, terwijl het checken van feiten een geloofsartikel bij opleidingen is. Daar komt nog bij dat het aantal doctorandussen op redacties groot is. Zij zijn toch wel in staat onderzoek te lezen en aan een kritisch oog te onderwerpen?
Strategisch checken
Een paar jaar geleden interviewden Els Diekerhof en haar studenten 22 journalisten die checken wel belangrijk vonden maar het in de praktijk vaak achterwege lieten. ‘Bewezen’ betrouwbare bronnen en hoogwaardigheidsbekleders werden vaak niet gecheckt (die zouden zich niet kunnen permitteren onjuiste informatie te verstrekken). Ook werd checken vaak ‘uitbesteed’: zaken uit andere media werden vaak niet gecheckt, terwijl het laten controleren door de bron (autoriseren) ook gezien werd als checken. Als iemand iets ‘gezegd’ had – een quote dus – was checken volgens nogal wat journalisten overbodig, het was een mening die voor rekening van de bron kwam.
Checkgedrag was strategisch: alles checken is geen optie, het kost te veel moeite en tijd, daarom check je alleen wat je echt nodig vindt. En daarom zijn onderzoeksresultaten terecht gekomen in de categorie “hoeft niet gecheckt te worden”. Ze zijn immers al gecheckt (onderzocht) door de onderzoekers zelf, andere media schrijven er ook over, het zijn uitspraken die voor rekening van de bron zijn, en de bron heeft een reputatie te verliezen (waarom zou die onjuiste informatie verspreiden?).
Onder de loep
Met de grote stroom van dubieuze onderzoeksresultaten en besmette publicaties (Nijkamp, Stapel, Vonk, Poldermans, Smeesters, Bax, Schuerwegh, Weijmar Schultz) hebben deze argumenten hun kracht verloren. Ook onderzoek moet kritisch onder de loep gelegd worden.
Welke vragen moet je stellen, waar moet je als journalist op letten?
- Is het wel een onderzoek? En is het beschikbaar? Veel onderzoek bestaat helemaal niet of is niet openbaar. Het Facebook-onderzoek was niet af, de resultaten waren niet gepubliceerd. Bij het Twitter-onderzoek van de Volkskrant was het nieuwsbericht de enige publicatie, er was geen rapport. Van een GfK-onderzoek naar social mediagebruik is alleen een persbericht gepubliceerd, het onderzoek zelf bleef geheim. Aan onderzoeken die niet openbaar zijn, zit een luchtje – dat altijd vermelden; of niet over schrijven. Voor wetenschappelijke artikelen moet vaak betaald worden. Maar een mail naar de onderzoeker in kwestie levert vrijwel een pdf op.
- Wie heeft het onderzoek gedaan en wie heeft het betaald? Een commercieel bureau? Een bedrijf? De grote lingerie en toilet-onderzoeken (altijd goed voor veel publiciteit) zijn gemaakt om publiciteit te genereren voor de commerciële opdrachtgever. Ook wetenschappelijk onderzoek is vaak extern gefinancierd, dat moet altijd in zo’n artikel vermeld worden (in een voetnoot of op de allerlaatste pagina).
- Hoe is het onderzoek gedaan? Een steekproef? Hoe groot? Waar? Wie? Hoe? Wat was de non-respons? Is het representatief? Onderzoeksbureaus hebben hun eigen panel waarvan de leden – soms tegen een vergoeding of harde euro’s (2) – enquêtes moeten invullen. De controle op de identiteit is marginaal; de representativiteit dubieus. Verhalen waarin onderzoeken een rol spelen, zouden dergelijk gegevens moeten bevatten.
Een belangrijke waarschuwing tot slot: hoe vreemder de resultaten, hoe voorzichtiger moet je zijn. “Vleeseters zijn hufters” “PVV’ers hebben vaker seks” Twittergebruik gehalveerd” “Tieners verlaten Facebook massaal”. Zijn resultaten “te mooi om waar te zijn?” Dan is dat ook vaak zo.
