Algoritmes en rechtvaardigheid

Er is de laatste jaren veel te doen over algoritmes die leiden tot discriminatie en onrechtvaardigheid.  In het kindertoeslagschandaal kregen mensen met een dubbele nationaliteit ten onrechte een hoog-risicolabel. Gezichtsherkenningssoftware heeft meer moeite om donkere mensen te herkennen, en COMPAS, een in de VS gebruikt algoritme om de kans op recidive in te schatten, bleek die kans voor gekleurde mensen systematischer hoger in te schatten.

Voor ethici van de techniek is dit schokkend maar niet verrassend. We roepen al jaren dat techniek niet moreel neutraal is en waarden, zowel positieve als negatieve, kan incorporeren. Er zijn de afgelopen decennia verschillende benaderingen ontwikkeld om positieve waarden, zoals rechtvaardigheid, vanaf het begin in het ontwerpproces van techniek mee te nemen. Voorbeelden van dergelijke benaderingen zijn waardenbewust ontwerpen en ethiek-door-ontwerp. Hoewel ik nog steeds geloof in de meerwaarde van die benaderingen, ben ik er steeds meer van overtuigd dat ze te weinig aandacht besteden aan de politieke en institutionele dimensie van onrechtvaardigheid.

De laatste paar jaar is de ethiek van kunstmatige intelligentere geëxplodeerd. Veel van de benaderingen in dit gebied gaan uit van een aantal abstracte (morele) principes, zoals ‘niet schaden’, ‘rechtvaardigheid’ en ‘uitlegbaarheid’, en proberen die te vertalen in uitvoerbare procedures en ontwerpbenaderingen. Dat is natuurlijk niet makkelijk en er wordt in de literatuur daarom wel gesproken van de kloof tussen principes en praktijk. Die kloof bestaat zeker en die moet overbrugd worden maar ik ben er in toenemende mate van overtuigd dat verantwoordelijke kunstmatige intelligentie veel meer vergt dan dat. Met name rechtvaardigheid vergt meer dan organisatorische maatregelen en ontwerpkeuzes; het vergt bepaalde politieke keuzes en maatschappelijke instituties.

Dat is ook te zien in het kindertoeslagschandaal. Dit had te maken met bepaalde technische keuzes maar die keuzes kwamen voort uit een politiek klimaat waarin fraude opsporen belangrijker werd geacht dan mensen rechtvaardig te behandelen. Bovendien ontbrak het bij de Belastingdienst, en in bredere zin de overheid, aan voldoende institutionele waarborgen om discriminatie bij fraude-opsporing te voorkomen.

Nu zou je kunnen tegenwerpen dat dit van alle tijden is. Kort door de bocht: verkeerde politieke keuzes en onrechtvaardigheid zijn aan de orde van de dag in de menselijke geschiedenis. Tot zover niets nieuws onder zon. Toch is met de opkomst van algoritmes, en andere vormen van artificiële intelligentie, wel iets nieuws aan de hand. Deze technieken stellen ons in staat veel sneller en effectiever patronen te herkennen in data. Dat maakt fraude-opsporing inderdaad makkelijker, maar omdat die algoritmes dat vaak doen op een manier die voor mensen onbegrijpelijk is, vergroot het ook de kans op onrechtvaardige behandeling van mensen. Simpel gezegd: we kunnen met die algoritmes misschien meer goed doen, maar ook meer kwaad, en dat laatste gebeurt soms ook onbedoeld of ongemerkt.

Om onrechtvaardige algoritmes tegen te gaan, hebben computerwetenschappers nu een groot aantal zogenaamde ‘fairness metrics’ ontwikkeld. Dit zijn statische maatstaven die een indicatie geven van de mate waarin een algoritme mensen, al dan niet ten onrechte, verschillend behandelt. Hoewel deze ontwikkeling op zich toe te juichen is, zijn er wel een paar belangrijke kanttekeningen. Ten eerste spreken de verschillende statistische maatstaven voor rechtvaardigheid elkaar soms tegen en kunnen ze (aantoonbaar) niet allemaal tegelijkertijd geoptimaliseerd worden. Zo was het eerdergenoemde COMPAS-algoritme volgens sommige maatstaven discriminerend maar volgens andere juist niet! Een tweede probleem is dat deze statistische maatstaven een poging zijn om een onderliggende morele waarde – rechtvaardigheid – te vangen, maar het is veelal onduidelijk of ze daarin daadwerkelijk slagen. Hoewel er een uitgebreide filosofische literatuur is over rechtvaardigheid wordt die weinig of niet gebruikt door de betreffende computerwetenschappers.

Het beter gebruik maken van bestaande filosofische en sociaalwetenschappelijke inzichten over rechtvaardigheid bij het ontwerpen van algoritmes is een eerste stap, maar in toenemende mate ben ik ervan overtuigd dat dit niet beperkt kan blijven tot het ontwerpproces van algoritmes. Rechtvaardigheid is niet een kenmerk van een algoritme alleen maar van een meer omvattend socio-technisch systeem en dient uiteindelijk op dat niveau institutioneel geborgd te worden. Als we algoritmes willen gebruiken voor belangrijke publieke taken, zoals het opsporen van fraude, dan vergt dat nieuwe institutionele waarborgen om discriminatie tegen te gaan. We moeten niet alleen de algoritmes rechtvaardig maken maar ook bijvoorbeeld evalueren of de bestaande wetgeving ook in de nieuwe situatie nog voldoende waarborgen biedt tegen discriminatie. Krijgen mensen bijvoorbeeld inzicht in waarom ze door een algoritme als potentiële fraudeur zijn aangemerkt en kunnen ze daartegen in het geweer komen?  Ook zijn er waarschijnlijk goede redenen om de ontwikkeling van dergelijke gevoelige algoritmes niet volledig over te laten aan de markt. Kortom: als we rechtvaardige algoritmes willen als maatschappij vergt dat bepaalde politieke en institutionele keuzes, niet alleen de juiste technische ontwerpkeuzes, hoe belangrijk die laatste ook zijn.