Stel je voor dat de staat je op een dag beschuldigt van fraude met overheidssubsidies voor kinderopvang en je bezittingen in beslag gaat nemen: je verliest je spaargeld, je inkomen en je waardigheid. Na jaren te hebben geworsteld met de gevolgen in de vorm van armoede en sociaal isolement, burn-out en baanverlies, ontvang je een brief waarin de regeringsleider zich persoonlijk verontschuldigt: Helaas, je hebt een fout gemaakt en je bent geen fraudeur. Dat overkwam Paula Bouwer, co-auteur van dit artikel, en meer dan 30.000 andere ouders in Nederland. Alleenstaande moeders met wortels in andere landen werden het zwaarst getroffen. Ook ouders uit Europese landen zoals Duitsland werden getroffen, maar vooral ouders met wortels in voormalige gastarbeiderslanden en de voormalige Nederlandse koloniën. Veel gezinnen vielen uit elkaar onder de druk en in meer dan 2.000 gevallen werden kinderen bij hun familie weggehaald, vaak omdat de beschuldigde ouders niet langer de financiële middelen hadden om voor de kinderen te zorgen. Enkele honderden kinderen en ouders die door het schandaal zijn getroffen, zijn nu overleden. De toeslagenaffaire leidde in 2020 tot het aftreden van het kabinet-Rutte. Niet alleen een Nederlands probleem Een aspect van dit kolossale institutionele falen dat relatief weinig aandacht kreeg, was het gebruik van een algoritme bij de Nederlandse belastingdienst dat factoren als dubbele nationaliteit gebruikte om potentiële fraudeurs te identificeren. Veel onschuldige burgers, zoals Paula, kregen te horen dat ze door de belastingdienst ten onrechte op zogenaamde “zwarte lijsten” waren geplaatst. Mensen hebben tot 18 jaar geleden onder het feit dat ze als oplichters werden beschouwd, want als je eenmaal op de lijst stond, was het bijna onmogelijk om te worden verwijderd. Normaal gesproken wordt Nederland beschouwd als een voorbeeldstaat van rechtsstaat. In de Rule of Law Index van het World Justice Project staan ze op de 5e plaats, één plaats voor Duitsland. Des te schokkender is het dat daar gedurende zo’n lange periode en in deze mate zo’n ernstig onrecht heeft kunnen plaatsvinden. Verschillende openbare en particuliere instellingen in Duitsland en in de hele EU beginnen echter ondoorzichtige geautomatiseerde besluitvormingssystemen te gebruiken. Dit samenspel van bureaucratie en complexe technologie brengt nieuwe risico’s met zich mee, waardoor de behoefte aan regulering groot is. Vanuit mondiaal perspectief is de EU een pionier op het gebied van de alomvattende regulering van AI. Toch zijn er veel mazen in de AI-wet, zoals voorgesteld door de Europese Commissie in 2021, die dergelijke onrechtvaardigheden in de toekomst effectief zouden voorkomen. Wie zit er aan tafel? En wie wordt er niet gehoord? De tweede co-auteur van dit artikel, Noah Schöppl, was betrokken bij het wetenschappelijk beleidsadvies over de AI-verordening en merkte op dat een onevenredig groot aantal witte experts met technische en juridische expertise uit de academische wereld of het bedrijfsleven betrokken waren bij het politieke proces. Aan de andere kant werden in de vergaderzalen in Brussel, Den Haag en Berlijn, waar beslissingen over AI-regulering werden genomen, zelden stemmen gehoord van mensen met ervaring met algoritmische discriminatie. Daarom hebben we, samen met andere ouders die getroffen zijn door de Nederlandse kinderalimentatieschandaal, de lessen van het schandaal uitgewerkt voor de AI-verordening en leden van het EU-parlement gevraagd om te discussiëren. Sommigen waren toe aan een open en empathisch gesprek op ooghoogte. In het standpunt van het Parlement over de AI-wet, dat vorige week werd aangenomen, zijn enkele cruciale verbeteringen aangebracht. Zo moeten de betrokkenen worden geïnformeerd over AI-beslissingen met een hoog risico, zijn lacunes op het gebied van biometrische massasurveillance gedicht en is voorspellend politiewerk in strafrechtelijk en administratief werk beperkter. Dit zijn belangrijke stappen in de goede richting, maar ze gaan in sommige opzichten niet ver genoeg. Geïnformeerd zijn betekent bijvoorbeeld niet dat u over alle relevante informatie beschikt om een geautomatiseerd besluit effectief aan te vechten. AI-systemen mogen in principe niet tegen mensen worden gebruikt of om mensen te controleren, maar moeten altijd de behoeften van de betrokken mensen dienen. Herstel is moeilijk, preventie is de sleutel Het Europees Parlement heeft de eerdere wetsontwerpen van de Commissie en de Raad verbeterd en het is van cruciaal belang dat deze verbeteringen worden opgenomen in de definitieve wetgevingstekst, waarover tegen het einde van het jaar moet worden onderhandeld. Zo niet, dan zullen onrechtvaardigheden zoals die in de Nederlandse kinderbijslagaffaire waarschijnlijk blijven bestaan, omdat in steeds meer instellingen gebruik wordt gemaakt van geautomatiseerde besluitvormingssystemen. En zoals de Nederlandse casus laat zien, is het moeilijk om onrecht goed te maken als het eenmaal heeft plaatsgevonden. De pogingen van de regering om schadevergoeding te krijgen zijn zo fundamenteel mislukt dat het een tweede schandaal is geworden. Drie jaar nadat de regering aftrad, wachten de meeste getroffen ouders nog steeds op volledige compensatie, velen hebben het vertrouwen in hun staat verloren. Financiële compensatie kan de gebroken gezinnen en de verwoeste educatieve, professionele en levenspaden van de getroffen ouders en kinderen niet genezen. Om dit soort onrecht in de toekomst te voorkomen, moeten we leren technologie en instituties zo in te richten dat ze echt voldoen aan de behoeften van alle mensen. Paula Bouwer is een Nederlands-Canadese journaliste gevestigd in Amersfoort. Ze werd geraakt door de kinderbijslagaffaire en richtte de Stichting Herstel Ongekend Onrecht op. Noah Schöppl is een Landecker Democracy Fellow bij Humanity in Action en Public Civic Innovation Lead bij ProjectTogether, een non-profitorganisatie voor sociale transformatie.