Digitale discriminatie moeilijk aan te pakken

By Cindy Cloin

Het Nederlandse recht beschermt mensen nog onvoldoende tegen digitale discriminatie. Dat betoogt Frederik Zuiderveen Borgesius, hoogleraar ICT en recht aan de Radboud Universiteit, vandaag tijdens zijn oratie. Of je nu een nieuwe autoverzekering afsluit, een hypotheek aanvraagt, langs security moet op Schiphol of een vakantie boekt: je hebt op dagelijkse basis te maken met digitale systemen die beslissingen over je maken, vaak zonder dat je er invloed op hebt óf het überhaupt door hebt. Die beslissingen kunnen grote invloed op je leven hebben: je kunt uit de rij worden gehaald op Schiphol, of enkele tientjes meer per maand betalen voor je autoverzekering.

Nog niet klaar

Tal van partijen zetten ‘digitale differentiatie’ in en dit kan mensen flink benadelen. “Het Nederlands recht is nog niet klaar voor de keuzes die soms door deze algoritmes gemaakt worden”, waarschuwt Zuiderveen Borgesius. “We hebben binnen het recht duidelijke regels die mensen beschermen tegen discriminatie op het gebied van huidskleur, geslacht of vergelijkbare kenmerken. Die normen gelden ook voor discriminatie door computers. Maar digitale discriminatie is vaak moeilijk te ontdekken.”

Onderscheid op postcode

Zuiderveen Borgesius: “Een tweede categorie problemen is nog lastiger. Digitale differentiatie kan oneerlijk zijn, terwijl die niet specifiek mensen met een bepaalde huidskleur of vergelijkbaar kenmerk treft.” Zo zijn er verzekeraars die hogere premies vragen aan mensen die op een huisnummer met een letter wonen, zoals 1A of 90L. Dat kan oneerlijk zijn. Ook kan digitale differentiatie arme mensen treffen. “Denk aan een energiemaatschappij die hogere voorschotten vraagt aan bewoners van een postcode waar vaker betalingsachterstanden zijn. Met zo’n aanpak raak je vooral mensen in arme wijken. En als mensen altijd netjes hun rekeningen betalen, is het zuur voor ze als ze als wanbetaler worden behandeld, alleen vanwege hun postcode.”

Aanvullende regels

In zijn oratie gaat Zuiderveen Borgesius dieper in op de juridische haken en ogen. Dat zijn er namelijk nogal wat: discriminatie van bijvoorbeeld arme mensen of mensen met een bepaald huisnummer is niet verboden. Ook is het soms lastig om te achterhalen op basis van welke data een computer keuzes maakt, en hoe we dat inzichtelijk maken. “Het huidige recht kan mensen maar deels beschermen tegen oneerlijke digitale differentiatie. Zo staan er nuttige regels in het algemene non-discriminatierecht, en in de Algemene Verordening Gegevensbescherming (AVG). We moeten beginnen met die regels beter handhaven. Maar de huidige regels laten ook gaten vallen. Er zijn aanvullende regels nodig.”

Nieuwe normen

En dat is lastig. Want voor sommige digitale differentiatie weten we nog niet wat de normen zouden moeten zijn. Zou discriminatie van arme mensen verboden moeten worden? En in welke gevallen dan? Om dat soort vragen te beantwoorden, is er meer interdisciplinaire samenwerking nodig door computerwetenschappers, juristen, filosofen en onderzoekers uit andere disciplines, aldus Zuiderveen Borgesius. 

Uiteraard discrimineren algoritmes! – Innovation Origins

Algoritmes kunnen op zichzelf niet discrimineren. Discriminatie kan wel ontstaan door algoritmes te voeden met discriminerende data.