Bias in AI is een probleem, maar zo kan het eerlijker

Algoritmes nemen steeds vaker beslissingen die grote gevolgen hebben voor mensen. Denk aan medische diagnoses, risicoprofielen in de zorg of beslissingen in het rechtssysteem. Die systemen worden vaak gezien als neutraal en rationeel. Maar in de praktijk blijken ze verrassend menselijk. Ze maken dezelfde fouten, nemen dezelfde vooroordelen over en kunnen bestaande ongelijkheid zelfs versterken. De vraag is dus niet alleen wat AI kan, maar vooral hoe we het bouwen en waarvoor we het inzetten.

Volgens Emma Pierson, assistent-professor computerwetenschappen aan University of California, Berkeley, zit het probleem niet in de technologie zelf. Algoritmes zijn niet automatisch eerlijker dan mensen. Ze leren van data, en die data komt uit een wereld die al ongelijk is. Zonder bewuste keuzes nemen modellen die scheefheid gewoon over.

Pierson onderzoekt hoe AI juist kan helpen om ongelijkheid te verkleinen, in plaats van te versterken. Haar werk richt zich op maatschappelijke vraagstukken zoals zorg, rechtspraak en discriminatie. Een bekend voorbeeld is haar onderzoek naar politiecontroles in de Verenigde Staten. Ze ontwikkelde een statistische test die kijkt naar hoe dezelfde persoon anders wordt behandeld, afhankelijk van of die als wit of als Hispanic wordt gezien.

Uit grote datasets uit Texas, Colorado en Arizona bleek een duidelijk patroon. Mensen werden vaker doorzocht en gearresteerd wanneer agenten hen als Hispanic waarnamen. Belangrijk hierbij is de methode: zonder goede statistiek is het lastig om echte discriminatie te onderscheiden van andere verklaringen. Pierson laat zien dat je met de juiste aanpak structurele bias wel degelijk meetbaar kunt maken.

Het meten van ongelijkheid is voor Pierson slechts de eerste stap. Ze werkt ook aan algoritmes die menselijke denkfouten actief kunnen corrigeren. Dat is nodig, omdat veel AI-systemen worden getraind op onvolledige of bevooroordeelde data. Daarnaast zijn veel modellen eigendom van commerciële bedrijven, waardoor transparantie ontbreekt en controle lastig is.

In de zorg komt daar nog een extra dilemma bij. Medische algoritmes gebruiken soms ras als variabele, niet omdat het biologisch relevant is, maar omdat andere gegevens ontbreken. Ras is geen medische eigenschap, maar een sociale categorie. Toch kan het simpelweg verwijderen ervan schadelijk zijn. Piersons onderzoek laat zien dat het schrappen van ras uit medische modellen het kankerrisico bij zwarte patiënten kan onderschatten.

Opvallend is dat veel patiënten het gebruik van zulke variabelen accepteren, zolang artsen maar duidelijk uitleggen hoe en waarom ze worden gebruikt. Vertrouwen ontstaat niet door perfectie, maar door transparantie.