Kan de inzet van kunstmatige intelligentie (AI) bijdragen aan een inclusieve samenleving? Netwerkpartner SETUP en de Nederlandse Stichting voor Psychotechniek nodigden vier ontwerp-duo’s uit om zich te buigen over deze vraag: hoe kunnen we het vraagstuk over algoritmische inclusie verscherpen en meer mensen hierover laten meedenken? De resultaten zijn vier interactieve installaties die de gevolgen van AI voor de diversiteit op de arbeidsmarkt invoelbaar maken. Niet alleen tech-experts, maar ook andere groepen kunnen zo meedenken en meebouwen aan een inclusieve technologische toekomst.

In aanloop naar de MNX21, het jaarlijkse mediawijsheid netwerk-event, lichten we inspirerende voorbeelden uit die (digitale) inclusie en mediawijsheid vergroten. Deze week draait het om inclusief ontwerp: hoe ontwerp je een mediawijsheid-initiatief inclusief? We zetten in de schijnwerpers: de installaties van netwerkpartner SETUP.

De belofte van algoritmische inclusie

Arbeidsmarktdiscriminatie is een complex probleem. Discriminatie kent verschillende gedaanten die elk een andere oorzaak hebben. Bovendien gebeuren veel vormen van discriminatie en uitsluiting onbewust. Cognitieve biases verstoren het objectieve oordeelsvermogen van menselijke recruiters in de praktijk.

Daarom hebben werkgevers en recruitmentbureaus hun zinnen gezet op een technologische oplossing. Door het werven en selecteren uit te besteden aan een algoritme, hopen zij geschikte kandidaten onbevooroordeeld te kunnen selecteren. De belofte van algoritmische inclusie is dat sollicitanten niet op oneigenlijke gronden kunnen worden afgewezen. Een algoritme zou niet gevoelig zijn voor sociale categorieën zoals oud versus jong, man versus vrouw of allochtoon versus autochtoon.

Maar helaas, het algoritme blijkt geen objectief orakel. Als een algoritme getraind is met data waarin vooroordelen en ongelijkheden zijn verankerd, dan neemt het rekenmodel deze vooroordelen over. Of het nu gaat om de gezondheidszorg, het politiewezen of gezichtsherkenning, regelmatig verschijnen nieuwsberichten over algoritmische rekenmodellen waarin minderheden stelselmatig worden benadeeld.

Ook in de HR sector. Zo bleek het recruitment algoritme bij Amazon alleen maar mannen te selecteren voor technische banen. Omdat bij Amazon meer mannen werkten, waren mannen volgens het algoritme statistisch gezien vaker succesvol. Gevolg: succesvolle kenmerken werden gelijk gesteld aan mannelijke kenmerken waardoor vrouwen vaker werden uitgesloten. Voor dit soort problemen wil de overheid nu met een vergewisplicht waken. De samenleving moet scherper zijn op de beloftes van algoritmisch werven en selecteren.

Maar hoe krijgen we dat voor elkaar? Hoe kunnen we het vraagstuk over algoritmische inclusie verscherpen en meer mensen hierover laten meedenken? Vier interactieve installaties maken de gevolgen van AI voor de diversiteit op de arbeidsmarkt tastbaar.

Data-diversiteit met Ed & Algje

De verwachtingen van recruitment algoritmen zijn ondanks de teleurstellende resultaten bij Amazon hoog gespannen. Nu de schadelijke effecten van algoritmische bias serieus worden genomen, zoeken we de oplossing in het verbeteren van onze algoritmen. Dat is nu eenmaal makkelijker dan het aanpassen van menselijk gedrag, is de heersende gedachtegang.

Met Ed en Algje leren we hoe ingewikkeld het is om een inclusief algoritme te worden.

We moeten ‘goede’ waarden in het algoritme stoppen door gevarieerde datasets te gebruiken en de ‘juiste’ variabelen op de ‘juiste’ manier te wegen. Maar wie mogen bepalen wat de juiste waarden en variabelen zijn? En kunnen we de sociaal-economische ongelijkheden die algoritmen blootleggen daadwerkelijk oplossen met een technologische fix?

Installatie: Ed & Algje
Deze vragen zijn tastbaar gemaakt door Tessel Brühl en Nicky Liebregts. Zij ontwierpen ‘Ed de dataset’ en ‘Algje het algoritme’. Stuntelend zonder menselijke zintuigen trekt Algje de openbare ruimte in. Ed helpt Algje een handje, want een algoritme kan niets zien zonder dataset. Door op locatie zoveel mogelijk verschillende mensen te bevragen over hun ervaringen met solliciteren, bias en inclusiviteit, probeert Ed van Algje een inclusiever algoritme te maken. Zo betrekken zij meer mensen bij het maatschappelijke debat over algoritmische inclusie en gaan ze de strijd aan met eentonige datasets die sociaal-economische ongelijkheden versterken.

De vraag is of Ed en Algje deze strijd kunnen winnen. Ook in de digitale wereld zijn minderheden en minderheidsperspectieven ondervertegenwoordigd. Daardoor zijn inclusieve datasets vaak niet beschikbaar. Ed en Algjes noeste arbeid om een dataset meer divers te maken laat zien hoe ingewikkeld het is om een algoritme inclusief te maken. De makers stellen daarmee een belangrijke vraag aan de kaak: hoe komen we tot diversere datasets? En hoe kunnen werkgevers zich vergewissen van de diversiteit in de data waarop de algoritmen getraind zijn?

Anoniem solliciteren

De belofte van algoritmische recruitment is een snellere en inclusievere screening, omdat nu iedereen kan worden uitgenodigd voor een gesprek. Waar sollicitanten voorheen op basis van CV en brief op gesprek mochten verschijnen, zou nu iedereen een kans hebben om zichzelf te presenteren.

Het gebrek aan tijd en mankracht om elke sollicitant te spreken dwingt werkgevers tot pre-selectie aan de poort waarbij discriminatie helaas aan de orde van de dag is. Onderzoekers van de Universiteiten van Amsterdam en Utrecht schreven tussen 2016 en 2018 bijna 4200 sollicitatiebrieven, waarin ze varieerden met de etnische achtergrond van de afzender. Conclusie: wanneer je verder in de brief alles gelijk houdt, verkleint enkel een niet-Nederlandse naam en achtergrond de kansen op een gespreksuitnodiging met 30%.

Selection Automat stelt de vraag in hoeverre AI een sollicitatiegesprek kan overnemen en of we daar ook blij van worden.

De standaardreactie op dit type onderzoek is een roep om anoniem solliciteren. De hoop is dat kunstmatige intelligentie deze anonimiteit kan bieden door onbevooroordeeld kandidaten te selecteren en iedereen een kans te bieden op een eerste gesprek. De opmars van spraaktechnologie moet dit gaan faciliteren. Maar in hoeverre kan AI een menselijk sollicitatiegesprek overnemen en hoe onbevoordeeld is een AI-systeem?

Installatie: Selection Automat
Geïnspireerd door de torenhoge beloftes van de recruitmentsoftware-industrie, ontwikkelde Joost Helberg, Jeroen de Vos en Vincent Hoenderop de Selection Automat. Deze AI-powered recruiterbot maakt tastbaar hoe een algoritme op basis van een geautomatiseerd telefoongesprek kandidaten selecteert. Zodra je de hoorn van de haak pakt krijg je een aantal vragen op je afgevuurd, waarbij de antwoorden bepalen of je geschikt bent bevonden voor de functie van corporate recruiter. Selection Automat speelt met de illusie van objectiviteit. Of je nu geschikt bent bevonden door de Selection Automat of niet, je stapt in de wereld van de algoritmische recruitment. Geen geploeter met sollicitatiebrieven; je ziet een vacature, klikt erop, beantwoordt een paar vragen en weet meteen je of je in aanmerking komt voor de functie.

Maar wat bepaalt de scheidslijn tussen geschikt en ongeschikt? Ja, softwarebedrijven maken gebruik van ‘state-of-the-art algoritmen’ en ‘gerenommeerde recruitment standaarden’, daarmee geven zij hun technologieën een aura van objectiviteit. Maar technologie is nooit waardevrij: het feit dat een algoritme consistent is en elke sollicitant op dezelfde manier beoordeelt, betekent niet dat dit ook op een neutrale manier gebeurt.

Wat betreft transparantie laat de Selection Automat haar sollicitanten bewust in de mist. Bedrijven hoeven vanwege hun intellectueel eigendomsrecht namelijk geen openheid te geven over de werking van hun algoritmen. En zolang we niet weten hoe de berekeningen werken, weten we ook niet of er sprake is van onwenselijke bias. Op dit moment wordt daarom fors ingezet op wetgeving over algoritmische transparantie. Maar volgens AI-experts is transparantie bijzonder ingewikkeld. Uit onderzoek blijkt dat transparante modellen het soms juist moeilijker kunnen maken om fouten in het model op te sporen en te corrigeren. Daarnaast bleken versimpelde visualisaties tot verkeerde aannames over de datasets en gebruikte modellen te leiden.

Algoritme blackbox versus menselijke blackbox

Volgens AI-expert David Watson (Oxford Internet Institute) zijn algoritmische beslissingen niet makkelijker te controleren dan menselijke beslissingen. Zodra zichtbaar wordt dat in een bedrijf bepaalde groepen over- of ondervertegenwoordigd zijn, kunnen we het bedrijf daarvoor moreel verantwoordelijk houden.

Bij een algoritme werkt dat anders. Wanneer mensen gespecialiseerd zijn in een bepaald vakgebied en accurate beslissingen nemen, dan beschouwen we deze mensen als betrouwbare en moreel aansprakelijke individuen. Daardoor denken we automatisch dat wanneer een algoritme een wenselijke beslissing neemt, deze morele aansprakelijkheid ook voor het algoritme geldt. Maar het tegendeel is waar. Een algoritme kunnen we niet straffen, belonen of ter verantwoording roepen. Watson waarschuwt dat wanneer we algoritmen beslissingsbevoegdheid geven in sociaal-complexe contexten, mensen hun morele verantwoordelijkheid kunnen gaan verstoppen achter het advies van het algoritme.

Machine versus mens

Algoritmische inclusie gaat niet alleen over het in- of uitsluiten van minderheidsgroepen. Het gaat ook over aspecten van menselijk gedrag die worden uitgesloten door de toenemende nadruk op kwantificering en dataficering. Hoe inclusief je dataset ook is, het is en blijft data: een informatievorm die niet al onze kenmerken en kwaliteiten kan uitdrukken.

Regelmatig verschijnen artikelen over ‘job skills of the future’ waar vaardigheden opstaan zoals sociaal-emotionele intelligentie, empathie, verbeeldingskracht, moreel bewustzijn, samenwerken en creativiteit. Het gaat om kwaliteiten die in een hoog technologische samenleving waardevol zijn omdat computers hier slecht in zijn. Het zijn tevens kwaliteiten die je moeilijk kunt meten met een algoritme omdat dit type competenties niet makkelijk te kwantificeren zijn.

Cranky laat jou een inclusief sollicitatieproces ervaren in een wereld waar het meeste werk is overgenomen door AI.

Maar vorig jaar verscheen een diepgravende wetenschappelijke studie waaruit blijkt dat gezichtsuitdrukkingen niet correleren met persoonlijkheidskenmerken en emoties. Kort samengevat: iemand die blij kijkt hoeft geen blij persoon te zijn. Daaruit volgde forse waarschuwingen over emotieherkenning systemen. Dat is niet verrassend. Deze systemen destilleren immers een persoonlijkheidsprofiel uit woorden, stemklanken en gezichtsuitdrukkingen, terwijl taal en emotie te ambigu en cultuurafhankelijk zijn om te kwantificeren, categoriseren en beoordelen met vastomlijnde modellen. Hoe gaan we om met deze waarschuwingen en dringen ze ook door tot de recruitment wereld?

Installatie: Cranky
Bas van Oerle, Thomas voor ‘t Hekke en schrijver Ewoud Kieft spelen met het idee van de kwantificeerbare mens in hun installatie over de inclusieve arbeidsmarkt van de toekomst. Cranky laat zien hoe een inclusief sollicitatieproces eruit kan zien in een wereld waar het meeste werk is overgenomen door hoogwaardige robottechnologie. In het verhaal achter de installatie heeft de regering besloten dat mensen weer onderdeel moeten uitmaken van het arbeidsproces. Na jarenlange exclusie, leek het de regering beter om de mens weer aan het werk te zetten. Maar wat is dan nog een belangrijke functie die de mens kan vervullen? Cranky is illustratief voor de manier waarop we op dit moment naar AI en de toekomst van werk kijken. Hoewel een arbeidsmarkt volledig beheerst door machines tot de verbeelding spreekt, ligt de werkelijkheid genuanceerder. 

De onzichtbare arbeid achter AI

We vergeten vaak hoeveel mensenwerk en energieverbruik schuilgaat achter AI.

Steeds meer deskundigen waarschuwen dat we de taken die AI systemen kunnen overnemen overschatten. We hebben te weinig oog voor de moeilijk-kwantificeerbare, ecologische, economische en sociale factoren bij het automatiseren van werk.

Zo pleit hoogleraar Alfred Kleinknecht (TU Delft) voor meer realiteitszin wanneer we naar de automatisering van werk kijken. In een interview met Trouw legt hij uit: “Kunstmatige intelligentie zou een productiviteitsrevolutie ontketenen. Volgens een veelbesproken studie van Frey en Osborne zit 47% van alle werknemers in de VS in de gevarenzone: intelligente technologie zou hun werk overnemen. Maar zulke verhalen staan in schril contrast met de statistieken.”

Naast de wet van de afnemende meeropbrengsten, heeft dat te maken met de hoge kosten voor de ontwikkeling van alle soft- en hardware, de dataverwerking, het energieverbruik en de verwachte CO2 belasting. Ook vergeten we vaak hoeveel mensenwerk er nodig is om AI systemen werkend te krijgen en werkend te houden. Iemand moet de uitkomsten interpreteren, iemand moet de processen begeleiden en bovenal: iemand moet al die data in de AI systemen stoppen. Maar wie zijn de mensen die dat doen?

Op platforms zoals Amazon Mechanical Turk worden kleine taken tegen een microloon aangeboden die iedereen ter wereld met een computer kan oppakken.

Guestworker maakt zichtbaar hoe het geautomatiseerde proces een opdracht verkoopt aan een menselijke werker.

Op het eerste gezicht lijkt dit de ultieme inclusieve arbeidsmarkt. Maar deze platforms, die niets anders doen dan taken aan ‘Turkers’ matchen, roepen ethische vragen op over de aard, omstandigheden en gevolgen van deze nieuwe werkvorm.

Installatie: Guestworker
Automatisering creëert nieuwe werkvormen voor de mens. Met de opkomst van diensten als Amazon Mechanical Turk worden specifieke onderdelen van automatische processen uitbesteed aan menselijke werkers. Guestworker maakt deze menselijke arbeid zichtbaar en zorgt ervoor dat we de feedbackloop tussen mens en machine kunnen herkennen. We zien real-time hoe het geautomatiseerde proces een opdracht verkoopt aan een menselijke werker die we slechts kunnen herkennen aan een IP adres en het land van herkomst van de werker.

De meeste online taken worden aangeboden vanuit de Verenigde Staten en Europa en uitgevoerd door werkers uit lageloonlanden zoals India en Bangladesh. Vorig jaar verscheen hierover het boek ‘Ghost Work’ waarin de slechte en eentonige arbeidsomstandigheden van AI werkers aan de kaak worden gesteld. Tegelijk ontstaan er initiatieven die een positiever beeld van dit type werk laten zien waarbij mensen juist uit de armoede komen.

Verruim je denkbeeld over diversiteit

Als we daadwerkelijk een inclusieve arbeidsmarkt willen, moeten we ons niet blindstaren op technologische oplossingen. Het uitgangspunt dat het aanpassen van een algoritme makkelijker is dan het aanpassen van een mens klopt niet. Je kunt mens en algoritme niet los van elkaar zien. Algoritmen kunnen pas ten goede veranderen als we zelf inclusiever worden en onze denkbeelden over diversiteit verruimen.

Diversiteit gaat ook over het recht om te mogen ontsnappen aan de eigen culturele, sociale of biologische identiteit. Algoritmen doen juist het tegenovergestelde: ze pinnen sollicitanten vast op kwantificeerbare eigenschappen zoals de lengte van hun lach. De vraag is in hoeverre je daarmee diversiteit bewerkstelligt. Een team met mannen en vrouwen kan nog steeds homogeen zijn als ze qua zienswijzen op elkaar lijken en een team met verschillende culturele achtergronden kan nog steeds eenzijdig zijn als alle personen uit dezelfde sociaal-economische of subculturele groep komen.

Een inclusieve arbeidsmarkt kan alleen ontstaan als verschillende groepen hun macht kunnen claimen in het ontwerp van technologie.

We moeten diversiteit dus ruimer en minder categorisch benaderen: niet alleen vanuit persoonlijkheid, cultuur en gender maar ook vanuit disciplines, werkstijlen, waarden, communicatiestijlen en ideologieën. Maar wie moeten hiervoor gaan zorgen? Datahongerige techbedrijven? Wereldvreemde programmeurs uit de Silicon Valley elite-bubbel?

De vergewisplicht is een goed begin om werkgevers verantwoordelijkheid te laten nemen voor de door hun gebruikte selectiesystemen. Maar hoe dit gaat uitpakken is nog een grote vraag. Uiteindelijk kan een inclusieve arbeidsmarkt alleen ontstaan als verschillende groepen hun macht kunnen claimen in het ontwerp van technologie. Om dat voor elkaar te krijgen moeten we het complexe vraagstuk over algoritmische inclusie invoelbaar maken voor een breed publiek.

Ed, Algje, Selection Automat, Cranky en Guestworker kunnen dat als geen ander. Deze interactieve werken zorgen ervoor dat niet alleen tech-experts en Elon-Musketeers, maar ook andere groepen kunnen meedenken en meebouwen aan een inclusieve technologische toekomst.

Dit artikel verscheen eerder op de website van SETUP onder de titel Kunnen we arbeidsmarkt discriminatie oplossen met AI?