De les van de oliebollentest

In 2018 is het AD gestopt met deze test. In eerste instantie vond ik dit jammer; de oliebollentest hoorde voor mij echt bij de kerstvakantie. Maar door mijn werk als onderzoeker bij het CPB krijg ik de laatste jaren meer begrip voor de afweging van de hoofdredacteur. Hij legde uit dat de test stopt, omdat het meten van smaak moeilijk is en omdat de oordelen onnodig kwetsend waren. Dat zijn volgens mij terechte punten, hoe leuk ik als tiener die venijnige oordelen ook vond. Maar voor mij als onderzoeker is het vooral herkenbaar: meten is moeilijk!

Meten is weten?

Wij economen hoeven gelukkig niet zoiets subjectiefs als smaak te meten. Wij werken met harde cijfers. Maar omdat meten moeilijk is, zijn die cijfers slechts beperkt beschikbaar. Zo wilden wij in ons onderzoek naar de arbeidsmarktperspectieven van verschillende studies graag weten of recent afgestudeerden een baan hebben die past bij hun opleiding. Dit wordt helaas landelijk niet goed geregistreerd. We weten in welke sector iemand werkt, maar bijvoorbeeld een receptionist of IT’er kan in heel veel verschillende sectoren aan de slag. En van een econometrist die bij een bank werkt, weten we alsnog niet of die baan inderdaad aansluit bij de opleiding econometrie.

En zelfs als we wel exact kunnen meten, worstel ik er in mijn onderzoek soms mee wat een hard cijfer precies zegt. De oliebollentest publiceerde naast een cijfer voor de smaak ook het gewicht van de oliebol in grammen. Dat is duidelijk en exact, zou je zeggen. Maar wat betekent een zware oliebol? Gaat het om een grote bol? Of is het deeg niet goed gerezen waardoor het een heel compacte bol is? Of zit er misschien veel zware vulling in?

Op dezelfde manier zijn wij soms op zoek naar het verhaal achter de cijfers. Bij een onderzoek naar stagevergoedingen zagen we bijvoorbeeld dat studenten uit gezinnen met een hoger inkomen vaker een stagevergoeding krijgen. Hoe komt dat? Een gedeeltelijke verklaring is dat deze studenten vaker kiezen voor een studierichting waar  stagevergoedingen gebruikelijker zijn. Maar dit kan lang niet alles verklaren. Hebben ouders met een hoger inkomen een groter netwerk, waardoor ze hun kinderen kunnen helpen bij het vinden van een goed stageadres? Helpen ze bij het schrijven van sollicitatiebrieven? Hebben deze studenten van huis uit meer sociale vaardigheden meegekregen? Het zou allemaal kunnen, maar onze cijfers zeggen er niets over.   

Steeds beter

En dus, moeten we dan het voorbeeld van het AD maar volgen en stoppen met ons onderzoek? Nee, dat denk ik niet. De onderwerpen die wij onderzoeken, hebben een veel groter maatschappelijk belang dan de oliebollentest. Wij geven in elke publicatie ook duidelijk aan wat de beperkingen van het onderzoek zijn. En ja, ons cijfermatig economisch onderzoek kan niet altijd het hele verhaal vertellen. Maar andere onderzoekers kunnen wel verder werken met onze uitkomsten en via bijvoorbeeld enquêtes en interviews het verhaal achter de cijfers helderder krijgen.

De laatste jaren hebben we in het programma kennis ook verschillende stappen gezet om meer en betere cijfers te krijgen. Zo hebben mijn collega’s Lily, Esther en Timo recent een dataset samengesteld over mensen die in het aanvullend en particulier onderwijs werken. Hierover was nog heel weinig bekend. Dankzij het werk van mijn collega’s weten we nu om hoeveel mensen het gaat en in hoeverre het lerarentekort zou worden opgelost als deze mensen als reguliere leerkracht aan de slag zouden gaan.

Een ander mooi voorbeeld is een studie van mijn collega’s Maria, Nihal en Rik. Zij hebben bestaande datasets slim gecombineerd om beter te begrijpen waarom kinderen met lager opgeleide ouders gemiddeld een lager schooladvies krijgen dan kinderen met hoogopgeleide ouders. Deels komt dit doordat ze gemiddeld ook lager scoren op cognitieve vaardigheden. En zaken als werkhouding en woonplaats spelen ook een rol. Mijn collega’s konden uiteindelijk niet alle verschillen verklaren, maar door dit onderzoek begrijpen we wel beter wat het verhaal is achter het lagere schooladvies van kinderen met lager opgeleide ouders.

Eigen baksels

Mijn broer en ik hadden veel plezier om de onvoldoendes in de oliebollentest, omdat onze moeder zelf bollen bakte. En dat zijn natuurlijk altijd de lekkerste. Of het AD goed had gemeten, maakte voor ons helemaal niets uit. Bij het CPB werk ik ook volgend jaar weer verder aan nog betere cijfers en analyses, die hopelijk voor veel mensen wél uitmaken. Kwetsende beschrijvingen laten we daarbij graag achterwege – wij zullen het van de inhoud moeten hebben. Maar voor we daaraan verder werken, is het eerst kerstvakantie en wens ik alle lezers graag goede feestdagen toe!