Modelkwaliteit: meer dan snoeien en wieden

Ook de modellen van het CPB beginnen met een goed doordachte basis. Onze modellen zijn een onmisbaar hulpmiddel voor ramingen, doorrekeningen en scenario’s en het doel en de toepassing van een model worden hierop afgestemd. Een model is per definitie versimpeld en de afbakening is hierbij cruciaal: welke vragen kunnen we bij uitstek met behulp van dit model beantwoorden, en welke juist niet? Het CPB heeft modellen die de werking van de totale economie beschrijven, maar ook zeer gespecialiseerde modellen die bijvoorbeeld kijken naar hoe mensen reageren op een verandering van de eigen betalingen in de zorg. Het is onmogelijk alle soorten effecten en analyses in één model te stoppen. Een moestuin is ook niet zo geschikt voor tuinfeestjes. 

Onderhouden en ontwikkelen

Ondanks een strak ontwerp dreigen sommige modellen na verloop van tijd toch overwoekerd te raken. Definities verouderen, nieuwe beleidsvragen leiden tot ad-hoctoevoegingen en onder tijdsdruk worden modelaanpassingen gedaan zonder deze goed te documenteren. Deels is dit onvermijdelijk: in de dynamiek waarin de ramingen en analyses worden gemaakt, krijgen pragmatische modelaanpassingen soms voorrang op zorgvuldige. Om achterstallig onderhoud te voorkomen, is het daarna wel zaak de tijd te nemen om dit alsnog netjes te verwerken. 

Alleen wieden en snoeien is niet voldoende. Regelmatig vernieuwen we delen van een model, vanwege nieuwe wetenschappelijke inzichten of omdat de economische werkelijkheid is veranderd. Soms blijkt een model helemaal niet meer nodig, of vragen actuele beleidsvragen juist om de ontwikkeling van een nieuw model. 

Om modelbeheer en -ontwikkeling binnen het CPB op een hoger plan te brengen en modelteams hierbij te ondersteunen is het nieuwe programma Modelkwaliteit opgericht. In dit programma doen we dit onder andere door standaarden te formuleren, zo is het uitgangspunt om modellen in R te programmeren, en zowel intern als extern best practices uit te wisselen. Modelgebruikers hebben natuurlijk vaardigheden en technieken nodig die up-to-date zijn, maar zeker ook de tijd en erkenning die het werken met modellen verdient. Niet al het modellenwerk is namelijk even sexy. Bovendien willen we voldoende mensen hebben die met elk van onze modellen kunnen werken om de kwaliteit en de continuïteit te waarborgen. 

Uitleggen

Veel van het werk dat we aan modellen doen blijft ondergronds, zeker voor de buitenwereld. En eerlijk gezegd slagen we er ook niet altijd even goed in om uit te leggen welke keuzes we daarin maken, en waarom we dat doen. We maken hier belangrijke afwegingen: zo zouden we nog beter kunnen aansluiten bij state-of-the-art voorspelmodellen, maar dan lukt het niet meer om de economische effecten van een nieuw toeslagenstelsel door te rekenen. Ook gaat bijvoorbeeld het onderscheiden van veel verschillende subgroepen al snel ten koste van de transparantie en de beheersbaarheid van een model. Deze afwegingen proberen we steeds beter uit te leggen, net als hoe onze modellen werken en wat de beperkingen van onze modellen zijn.

In mijn tuin bloeien de blauwe regen en de rozen weer en hebben we een nieuwe pergola gebouwd, maar het werk is nooit af: de druif begint nu wel heel veel ruimte te claimen en de slakken aten de dahlia’s op. De modellen op het CPB zijn heel divers, niet alleen waar ze over gaan en hoe complex ze zijn, maar ook qua voorgeschiedenis. Sommige modellen zijn net ontwikkeld, andere gaan al jaren mee met regelmatig een onderhoudsbeurt, bij een aantal is er meer werk aan de winkel. Maar voor al onze modellen geldt dat er genoeg te doen is, en ook dat zal wel altijd zo blijven.

Iris van Tilburg

Lees meer over de CPB-Modellen.