8.4 Black box
ondoorzichtig
Taalmodellen kunnen een heleboel, maar zijn voor de meeste gebruikers ondoorzichtig. U weet dat het model een antwoord geeft op basis van een hele database aan trainingsdata, maar wélke trainingsdata dat zijn, weet u vaak niet. Ofwel: de modellen zijn een black box, en dat levert risico’s op.
Taalmodellen hebben allerlei artikelen van internet opgeslokt. Daar kunnen doorwrochte wetenschappelijke artikelen bij zitten, maar ook meningen, liefdesbrieven, feitelijk onjuiste stukken en zelfs artikelen die tot agressie of discriminatie aanzetten.
schadeclaim
Een machine kan geen onderscheid maken tussen goede en slechte teksten, en kan ook geen ethische beslissingen nemen zoals mensen dat kunnen. Het is dus zaak om hier rekening mee te houden en de output kritisch te bekijken. U zit tenslotte niet te wachten op een schadeclaim vanwege een op foutieve informatie gebaseerd advies.
Verklaarbare AI
Deze ondoorzichtigheid staat ook haaks op wat wel ‘explainable AI’ genoemd wordt. Ofwel: is het nog uit te leggen hoe de AI-toepassing tot zijn besluit is gekomen? Stel dat uw organisatie bij de werving en selectie van nieuwe werknemers hulp krijgt van een AI-toepassing. Dan hoort de werkgever uit te kunnen leggen hoe het komt dat een sollicitant is afgewezen. Op termijn wordt dit mogelijk wettelijk verplicht.