Effectmeting Vogelaarwijken belemmerd door selectie van wijken
In de periode 2008-2011 is door de overheid 216 miljoen euro geïnvesteerd in deze wijken, terwijl woningcorporaties een miljard euro investeerden.
Dit soort investeringsprogramma’s wordt dikwijls geëvalueerd door gebruik te maken van een regression discontinuity model. De populariteit van dit evaluatie-instrument is te danken aan het feit dat variatie rondom de drempel die bepaalt of een wijk mag meedoen aan het programma of daar net buiten valt (wijk 40 vs. wijk 41), kan worden beschouwd als een random gebeurtenis voor de wijk. De wijk heeft er immers geen invloed op of ze wordt geselecteerd voor deelname of niet. Als deelname aan het programma wel kan worden beïnvloed, of als de drempel voor deelname kan worden gemanipuleerd, vervalt de belangrijkste voorwaarde voor evaluatie middels het instrument van regression discontinuity.
Dit onderzoek laat zien dat de wijze waarop de veertig wijken op nationaal niveau zijn geformeerd, er waarschijnlijk toe heeft geleid dat er precies op de drempel van deelname een relatief grote discontinuïteit bestaat in het aandeel niet-Westerse allochtonen. Dit verschil ligt tussen de 11 en 21 procentpunt, wat op basis van een toevallig gekozen drempel een onwaarschijnlijk groot verschil is. Daarnaast zijn twee gebieden aan de analyse toegevoegd en zijn er twaalf verwijderd die juist een hoog en klein aandeel niet-Westerse allochtonen bewoners kennen.
Deze discontinuïteit op de drempel voor deelname heeft mogelijk te maken met de manier waarop de wijken door beleidsmakers zijn samengesteld. Op politiek niveau is vastgesteld dat er precies veertig wijken moesten worden geformeerd. Dit aantal garandeert voldoende omvang om versnippering van de investeringen te voorkomen en is een aantal dat op een redelijke termijn door een bewindspersoon bezocht kan worden. Om tot dit aantal te komen, is een procedure gevolgd die uit twee stappen bestaat. In de eerste stap zijn op basis van postcodegebieden veertig wijken geformeerd. Dit gebeurde aan de hand van een kwaliteitsindex die bestond uit achttien verschillende elementen. Wijken bestaan uit verschillende postcodegebieden, waardoor postcodegebieden met een verschillende score op de kwaliteitsindex zijn samengevoegd tot een wijk. Dit biedt de mogelijkheid om postcodegebieden uit de lijst te blijven toevoegen aan eerder geïdentificeerde gebieden. Het resultaat is dat er verschillende wijken zijn geformeerd die niet overeenkomen met de door het CBS gehanteerde indeling. Het toevoegen van postcodegebieden aan een reeds geïdentificeerde wijk gaat door, totdat wijk 41 ontstaat. We laten zien dat op het punt dat het niet meer mogelijk is postcodegebieden toe te voegen aan een reeds geïdentificeerde wijk, een wijk in een andere stad dan de voorgaande steden opduikt. In de tweede stap zijn vervolgens een aantal wijken verwijderd en zijn er een aantal aan de lijst toegevoegd. Deze toegevoegde wijken liggen echter niet in de buurt van de drempel voor deelname, maar hebben wel een relatief groot aandeel niet-Westerse allochtonen.
We illustreren de vertekening die ontstaat als de officiële drempel wordt gebruikt in de empirische analyse van de effecten van het beleid op diverse uitkomsten van de Vogelaarwijken. We laten zien dat schattingen die geen rekening houden met deze vertekening, anders zijn dan schattingen die daar wel rekening mee houden. Ook laten we zien dat een ander selectieproces niet zou hebben geleid tot de waargenomen verschillen in het aandeel niet-Westerse allochtonen precies op de drempel voor deelname. Ten slotte kunnen we niet helemaal uitsluiten dat het hier louter toeval betreft. Wanneer we dezelfde procedure gebruiken om tot dertig wijken te komen, vinden we namelijk geen groot verschil in het aandeel niet-Westerse allochtonen op de drempel voor deelname.
