Het is bijzonder om te zien: kunstmatige intelligentie waarvan we al jaren zeggen dat het discrimineert tegen vrouwen en mensen van kleur, doet dit nog steeds. Er zijn zoveel dingen die AI nu niet meer doet, zoals afbeeldingen maken van Disney-figuren of überhaupt bekende mensen, maar het lukt de IT maar niet om die vreemde en onjuiste vooroordelen over vrouwen en bijvoorbeeld zwarte mensen achter zich te laten.
De vraag is wie we dat moeten kwalijk nemen, maar de meeste techmensen weten hier het antwoord al op: je kunt de computer niet de schuld geven, want de computer baseert zijn keuzes op data die van mensen komt. Gaat er te veel data over mannen en witte mensen? Het lijkt erop, want AI heeft jaren later nog steeds een voorkeur voor witte mannen.
Witte mannen
Het voelt anno 2024 een beetje naar om als vrouw over ‘witte mannen’ te spreken. Het klinkt meteen heel vijandelijk, terwijl het meestal helemaal niet zo bedoeld is. Maar nu dit weer in een onderzoek naar voren komt, moeten we het toch zeggen: als de data voornamelijk om witte mannen draait, zoals we bijvoorbeeld ook zien in de medische wereld, dan kunnen we het de AI niet kwalijk nemen dat het ook op die toer gaat.
In een nieuwe paper komt naar voren uit een studie van honderden openbaar beschikbare vacatures en cv’s dat AI nog steeds een voorkeur blijft hebben voor iedereen die man en wit is. Er werden drie verschillende MTE’s gebruikt, Massive Text Embedding-modellen, en de onderzoekers vroegen die systemen om relevantiescores te geven aan de cv’s voor alle vacatures. De cv’s werden geanonimiseerd, dus je kon niet meer zien dat iemand een vrouwelijke naam had, of een niet zo ‘Jones’-achtige naam. Daarna werd de test nog eens gedaan met namen die zeer duidelijk een bepaald ras of gender representeren.
0 keer de zwarte man
De top 10 procent cv’s die de MTE’s het best vonden passen bij de baan, werden geanalyseerd en wat bleek? Er werden meer dan 3 miljoen cv’s en vacatures bekeken, maar in alle drie de modellen werd er in 85,1 procent van tests gekozen voor witte namen. Zwarte namen werden in slechts 8,6 procent als voorkeur opgegeven. Qua gender ging dat overigens wel beter: 51,9 procent koos voor mannen, terwijl 11,1 procent toonde dat de vrouw de voorkeur had. Het meest shockerend is dat de namen van zwarte mannen nooit als voorkeur werden opgegeven.
Het is een teleurstelling, maar bovenal is het hopelijk een les. Het feit dat dit na al die jaren nog steeds plaatsvindt in AI-systemen, bewijst dat heel veel andere dingen die je bij AI neerlegt mogelijk ook niet helemaal gebaseerd zijn op de ‘denkpatronen’ die je er misschien van verwacht. En dat is weer iets om vooral zelf goed over na te denken, wanneer je ook maar AI inzet.
