De reactie van scholen op kwaliteitsoordelen: een empirische analyse van het secundair onderwijs in Nederland

Daarnaast verbeteren schoolbesturen en docenten hun onderwijsprestaties na een negatief Trouw-oordeel.

Dit concluderen de CPB-onderzoekers Pierre Koning en Karen van der Wiel in de vandaag verschenen CPB Discussion paper 150 ´Ranking the Schools: How Quality Information Affects School Choice in the Netherlands´ en CPB Discussion paper 149 ´School Responsiveness to Quality Rankings: An Empirical Analysis of Secondary Education in the Netherlands´.

De eerste studie gaat in op de vraag in hoeverre informatie over de meetbare kwaliteit van scholen – en het Trouw-oordeel in het bijzonder – een rol speelt bij de keuze van ouders en leerlingen voor een middelbare school. De tweede studie onderzoekt de reactie van scholen op de verstrekking van deze kwaliteitsinformatie, zowel in het jaar na publicatie als in latere jaren.

Beide studies maken gebruik van informatie van Trouw en de Onderwijsinspectie, gemeten op het niveau van Vmbo-, Havo- en Vwo-scholen. Voor het onderzoek naar schoolkeuzes zijn verder ook scholierengegevens van het CBS benut. Deze bieden zicht op het belang van kwaliteitsinformatie ten opzichte van de benodigde reistijd en andere kenmerken van scholen die een rol spelen bij de schoolkeuze.

Het Trouw-oordeel
Sinds 1996 publiceert Trouw, op basis van een eigen bewerking van gegevens van de Onderwijsinspectie over leerprestaties, jaarlijks een ranglijst van middelbare scholen. Anders dan de Inspectie kent Trouw een eindoordeel toe aan ieder schooltype dat een school aanbiedt. Dit eindoordeel is een gewogen gemiddelde van drie kwaliteitsindicatoren van de Inspectie, waarna correctie plaatsvindt voor enkele kenmerken van de instromende leerlingen.

De drie kwaliteitsindicatoren die Trouw gebruikt, zijn: het ´onderbouw-rendement´ (i.e. het netto percentage leerlingen dat na de onderbouw onder of boven het initiële schooladvies uitkomt), het ´bovenbouw-rendement´ (het percentage leerlingen dat een diploma zonder vertraging haalt vanaf het 3e leerjaar) en het gemiddelde cijfer voor het centraal schriftelijk eindexamen (CE).

Trouw corrigeert o.a. voor het percentage leerlingen op een school dat behoort tot een culturele minderheid. Dit betekent dat een ´zwarte´ school beter scoort dan een ´witte´ school met hetzelfde CE-cijfer. Vervolgens verdeelt Trouw alle scholen over vijf opeenvolgende categorieën: “– – ”, “– ”, “0”, “+” en “++”. Dit is ook het oordeel dat uiteindelijk de meeste aandacht krijgt in de schriftelijke publicatie van Trouw en in een aantal regionale dagbladen die de voor hun regio relevante lijstjes overnemen.

Effect op schoolkeuze
Analyses met zowel scholen- als scholierengegevens geven aan dat de instroom van leerlingen daadwerkelijk afhangt van de beoordeling door Trouw. De effecten zijn het sterkst bij het Vwo-onderwijs. Hierbij leidt de meest positieve beoordeling tot gemiddeld 16 extra leerlingen, vergeleken met scholen in de middencategorie. Blijkbaar vinden (de ouders van) Vwo-leerlingen kwaliteit belangrijker dan Vmbo- en Havo-leerlingen, of zijn zij beter in het vinden van de relevante informatie. De onderliggende oorzaak is niet dat huishoudens van Vwo-leerlingen gemiddeld genomen uit hogere inkomensklassen komen. Per schooltype afzonderlijk reageren ouders en leerlingen uit de lagere inkomensklassen namelijk net zo sterk als die uit de hogere inkomensklassen.

De geschatte effecten van het Trouw-oordeel op schoolkeuze zijn significant, maar reistijd is duidelijk belangrijker. Zo neemt de geschatte kans dat een leerling een school kiest met dertig procent af per extra kilometer dat die school verder van huis ligt. Omgerekend komt dit erop neer dat een gemiddelde leerling maximaal grofweg 200 meter extra zou willen reizen om een school met een `+` te kiezen in plaats van een school met slechts een `0`.

Effect op kwaliteit van scholen
Mede gezien de invloed van het Trouw-oordeel op de instroom van nieuwe leerlingen, kan scholen er het nodige aan gelegen zijn hun kwaliteit op peil te houden of te verbeteren. Scholen zullen enigszins verrast zijn wanneer zij de meest positieve dan wel de meest negatieve score van Trouw ontvangen, omdat het om een relatief oordeel gaat en omdat maar weinig scholen zich in de extreme categorieën bevinden. Vooral in het laatste geval is het de vraag wat er in de daarop volgende jaren zal gebeuren: herstellen scholen zich en verbeteren zij hun kwaliteit – om verdere terugloop van instroom te voorkomen – of vallen ze misschien wel verder terug? Voor de scholen die het meest positieve oordeel ontvangen, geldt een soortgelijke vraag: hebben zij moeite hun kwaliteit op peil te houden, of treedt een opwaartse spiraal van nog betere prestaties in werking?

Het blijkt dat scholen na publicatie van de meest negatieve score door Trouw gedurende langere tijd beter presteren. Dit geldt met name voor het rendement van de bovenbouw (i.e. het percentage leerlingen dat in één keer slaagt) en bij het gemiddelde CE-cijfer. Het is dus niet zo dat scholen na een negatief oordeel in een neerwaartse spiraal geraken. Andersom treedt – zij het in iets mindere mate – een tegengesteld (negatief) effect op: na het meest positieve oordeel hebben scholen moeite hun kwaliteit op peil te houden. Opvallend is dat deze effecten van dezelfde orde van grootte zijn als die gevonden worden in Amerikaanse studies naar de effecten van verzwaring van toezicht op scholen door de overheid (de No Child Left Behind Act). De Trouw-publicatie is daarentegen een privaat initiatief, gebaseerd op 'naming and shaming'. Dat werkt dus ook.

Opties voor verbetering
De kwaliteitsinformatie van Trouw maakt een verschil. Niet alleen leerlingen en ouders laten zich er mede door leiden bij de schoolkeuze, ook schoolbesturen reageren erop. Mogelijke nadelen zijn beperkt: niet alleen de hogere inkomens doen hun voordeel met de informatie en scholen met een slecht oordeel komen over het algemeen niet in een neerwaartse spiraal terecht. Hiermee is echter niet alles gezegd. Het Trouw-oordeel heeft inderdaad effect, maar dat wil nog niet zeggen dat het in alle opzichten ook een accuraat kwaliteitsoordeel is. Bedacht moet worden dat ieder jaar slechts 1% van de scholen een extreme score (´--´ of ´++´) toebedeeld krijgt. In de regel keren deze scholen in daarop volgende jaren terug naar gematigdere scores. Het is dus de vraag of het Trouw-oordeel in deze uiterste categorieën een waarheidsgetrouw beeld geeft. Dit euvel is deels te voorkomen door de kwaliteitsindicatoren die het eindoordeel bepalen, te middelen over meerdere jaren, of door de vijf categorieën gelijkmatiger te verdelen.

Voor een Nederlandstalige, beknoptere versie van de twee CPB Discussion Papers, is het artikel in Economisch-Statistische Berichten (ESB) hieronder als bijlage toegevoegd.