Verkeerd gebruik algoritme kan leiden tot uitsluiting

Kunstmatige intelligentie lijkt handig om in te zetten uit het oogpunt van tijdsbesparing, bijvoorbeeld bij sollicitaties. Maar als algoritmes niet goed worden opgezet en uitgewerkt, kunnen ze juist leiden tot uitsluiting en discriminatie.

Misschien wordt er in de organisatie wel over nagedacht om bijvoorbeeld binnengekomen sollicitaties te gaan filteren met behulp van kunstmatige intelligentie (of artificial intelligence, AI). Dat is ongetwijfeld tijdsbeparend, maar het is goed erbij stil te staan dat dergelijke algoritmes snel kunnen leiden tot uitsluiting en stigmatisering. Aan de basis is het gewoon software die gevuld moet worden met bepaalde modellen en voorbeelden. Dat is mensenwerk: iemand selecteert deze. Vervolgens zijn algoritmes meestal zelflerend, maar omdat ze voortborduren op de basisinvoer, kunnen kleine verschillen enorm uitvergroot worden en uitgesmeerd worden over een hele groep. Hierdoor kan een fout in de basis leiden tot discriminatie of uitsluiting van bepaalde groepen.

Uitgangspunten moeten bekend zijn 

Als het algoritme bijvoorbeeld een vrouw afwijst als geschikt voor een directiefunctie, kán dat komen omdat de software alleen gevuld is met voorbeelden van vrouwen die het assessment niet gehaald hebben. Dan ligt er dus een denkfout aan de AI ten grondslag die grote gevolgen heeft. Organisaties die met algoritmes willen gaan werken, moeten goed weten welke uitgangspunten gehanteerd zijn bij het maken van de software. Eis dat de leverancier hier open over is. De AVG (tool) verplicht namelijk dat organisaties kunnen onderbouwen waarom een algoritme iemand heeft afgewezen. In de praktijk snapt echter vaak niemand meer waarom de software een bepaalde beslissing genomen heeft.