Bij het gebruik van artificial intelligence (AI) valt me dat steeds zwaarder. Natuurlijk, zelflerende algoritmes brengen veel goeds, zoals betere diagnoses in de zorg. Maar er is ook een gevaar. De Raad van Europa waarschuwde recent dat door zelflerende algoritmes groepen in de samenleving worden uitgesloten en gediscrimineerd.

‘De Britse wiskundige Hannah Fry stelt voor algoritmes te behandelen als elke vorm van macht’

Daarom vier redenen om wakker te liggen over AI (ook voor tech-optimisten):

(1) Zelflerende algoritmes bevestigen beelden die we al hebben. Een politiesysteem dat op basis van ervaringscijfers bepaalt waar te surveilleren, leidt ertoe dat in de bekende wijken steeds weer arrestaties worden verricht. Efficiënt, maar ook stigmatiserend. Zo kijken we alleen naar ‘usuals suspects’ en niet naar nieuwe risico’s. Niets nieuws, want risico-analyses worden sinds mensenheugenis gemaakt op basis van eerdere ervaringen. Toch is er een verschil:

(2) We hebben een bijna oneindig geloof in de uitkomst van systemen. Psychologen noemen dit de ‘automation bias’. Als het systeem ons naar een uitkomst leidt, negeren we informatie die daarmee in strijd is.

(3) Daarnaast wordt de manier waarop systemen leren zo complex, dat we niet kunnen achterhalen hoe een conclusie tot stand komt. We kunnen dus ook niet controleren of die conclusie klopt. Is er echt een verband tussen het aantal keren dat we bij McDonalds eten en de kans dat we onze hypotheek te laat betalen? Of is dat veronderstelde verband slechts toeval?

(4) Zelflerende systemen kunnen haarfijn in kaart brengen welke groepen door hun achtergrond of levensstijl leiden tot de hoogste kosten voor bijvoorbeeld een verzekeraar. Dat is een moreel dilemma. Zo kunnen groepen met een hoog risico in het slechtste geval onverzekerbaar worden. Terwijl nu juist door solidariteit tussen groepen risico’s verzekerbaar blijven.

De Britse wiskundige Hannah Fry stelt voor algoritmes te behandelen als elke vorm van macht: door kritisch te kijken naar beslissingen en transparant te maken wie ervan profiteert. Dat is een goede start. Ondertussen hoop ik dat ik later wordt uitgelachen om mijn tech-pessimisme.

Deze column is oorspronkelijk verschenen in het Financieel Dagblad en is voor FD-abonnees ook te lezen via https://fd.nl/auteur/femke-de-vries.

Auteur: Femke de Vries, managing partner bij &samhoud, bijzonder hoogleraar toezicht aan de Rijksuniversiteit Groningen en oud-bestuurslid van toezichthouder AFM. Reageer via columnist@fd.nl.