AI: menselijke kant van discriminatie

Samenvatting

AI discrimineert en vraagt daarom om menselijke controle bij gezichtsherkenning, risicoprofielen en datagedreven profilering.

AI-discriminatie: wat er gebeurt

BNR De Technoloog bespreekt de menselijke kant van AI-discriminatie met Sennay Ghebreab, hoogleraar AI aan de Universiteit van Amsterdam en lid van de voormalige Staatscommissie tegen Discriminatie en Racisme. Het gesprek behandelt gezichtsherkenning, risicoprofielen en andere datagedreven profileringspraktijken waarin algoritmen mensen ongelijk kunnen behandelen.

Ghebreab wijst op een ongemakkelijke tegenstelling: discriminatie geldt als een groot maatschappelijk probleem, maar krijgt soms minder aandacht wanneer een computer de beslissing uitvoert. Ook goedbedoelde technologie kan volgens de aflevering uitmonden in discriminerende algoritmen. De vergelijking met technologie uit de vroege Middeleeuwen laat zien hoe menselijke aannames in nieuwe systemen kunnen terugkeren.

AI-discriminatie: waarom dit belangrijk is

Voor BI-professionals ligt het risico niet alleen in het algoritme zelf. Ook de keuze van variabelen, historische datasets, labels en beslisregels bepaalt wie een risicoprofiel krijgt of extra controle ondergaat. Een model kan technisch correct rekenen en toch mensen ongelijk behandelen wanneer de onderliggende classificatie menselijke vooroordelen weerspiegelt.

De verwijzing naar artikel 1 van de Grondwet geeft het onderwerp een duidelijke juridische en maatschappelijke context. Dat maakt AI-discriminatie breder dan een vraag over modelkwaliteit. Teams die rapportages, profielen of voorspellende modellen bouwen, moeten ook kunnen uitleggen welke menselijke keuzes achter de uitkomst zitten. Gezichtsherkenning en risicoprofielen verdienen daarbij extra aandacht, omdat ze direct over personen classificeren.

AI-discriminatie: concrete takeaway

Breng vóór ingebruikname per model in kaart welke persoonsgegevens, kenmerken en beslisregels de uitkomst sturen. Test daarna of verschillende groepen systematisch anders worden beoordeeld en leg vast wanneer menselijke controle verplicht is. Behandel een modeluitkomst als een controleerbaar advies, niet als een neutrale beslissing. Zo krijgt een BI-team zicht op de plekken waar aannames uit data en ontwerp kunnen veranderen in discriminatie.