“Er is genoeg gesprek gaande over privacy, daarom wil ik het vandaag over iets anders hebben,” zo begint hoogleraar politicologie Virginia Eubanks de Privacyrede 2019 in Tivoli Vredenburg. Wie hier is gekomen om te horen over de privacy-risico’s van algoritmes, is aan het verkeerde adres. Eubanks komt vertellen over iets nog belangrijkers: de maatschappelijke ongelijkheid die met algoritmische besluitvorming geautomatiseerd wordt. Er ligt een belangrijke mediawijze les in haar verhaal.

Tegenwoordig wordt steeds meer gebruik gemaakt van algoritmes. We denken dan al snel aan Facebook of Google die big data verzamelen om advertenties op jou af te stemmen. Maar ook gemeentes en de politie zetten steeds vaker algoritmes in. Bijvoorbeeld om gedrag te voorspellen, risico’s in te schatten en om besluitvormingsprocessen te automatiseren. Welke consequenties heeft dat voor onze samenleving?

Door mensen te vervangen door algoritmische systemen kunnen we eerlijker en efficiënter te werk gaan, zo heerst het idee. Algoritmes werken op basis van grote hoeveelheden data en zijn daarom ‘neutraler’ dan mensen. Het blijkt een van de schadelijkste misverstanden van onze tijd, toont Eubanks aan.

Ongelijkheid geautomatiseerd

Algoritmes zijn pure afspiegelingen van de huidige samenleving. Wat je erin stopt, komt er ook weer uit. Eubanks laat dit prachtig zien met schrijnende voorbeelden uit Amerika. In Amerika is een systeem ontwikkeld om huiselijk geweld en misbruik bij gezinnen te voorspellen. Op basis van hoe vaak gezinnen in aanraking komen met jeugdzorg wordt een risicoanalyse gemaakt, waardoor hulpverleners effectiever in kunnen grijpen.

Wordt er twee keer gebeld naar jeugdzorg over een bepaald gezin, dan is daar sprake van misbruik. Zo bepaalden de makers van het systeem – sociale wetenschappers, programmeurs. Omdat de makers niet genoeg informatie (of data) hadden over de daadwerkelijke situatie, kozen de ze voor een proxy. Op basis van de gegevens die ze wel hadden, maakten ze een inschatting van de werkelijkheid: twee meldingen bij jeugdzorg staan gelijk aan een geval van misbruik of huiselijk geweld.

Door het gebrek aan kennis van de praktijk hielden de makers geen rekening met het feit dat er bij Afro-Amerikaanse gezinnen 3,5 keer sneller melding wordt gemaakt, dan bij eenzelfde situatie binnen een wit gezin. En dat er regelmatig gebeld wordt om andere redenen. Het systeem zorgt er bovendien voor dat ‘parenting while poor’ gelijk staat aan ‘poor parenting’. De intenties achter het systeem zijn misschien goed. Maar de uitwerking ervan is een automatisering van ongelijkheid en vooroordelen in de samenleving.

Plaats technologie niet buiten de context

Een paar jaar terug ontwikkelde SETUP, samen met Casper de Jong, het Algoritmisch Historisch Museum: een fictief museum dat de mythes rond algoritmes blootlegt. Door algoritmes in een historische context te zetten werpt het een kritische blik op hedendaagse algoritmes. Hoe zou de strijd voor algemeen kiesrecht er in de negentiende eeuw uit hebben gezien als er algoritmes geweest zouden zijn? En de verzuiling en de seksuele moraal in de jaren vijftig? Met de zelfbevestigende feedbackloop van algoritmes is afrekenen met onrecht, ongelijkheid of de beklemmende moraal een stuk lastiger.

Wanneer we het hebben over technologie, plaatsen we dit vaak buiten de historische en culturele context. Technologie wordt ontwikkeld en dan gaan mensen dat gebruiken, is vaak het idee. Dat is een riskante visie op technologie. De manier waarop technologie wordt ontwikkeld is sterk afhankelijk van politieke keuzes en heersende culturele waarden. Het is enerzijds een weerspiegeling van de samenleving en anderzijds geeft het de samenleving vorm.

Het digitale armenhuis

Algoritmische systemen in het sociaal domein komen direct voort uit politieke keuzes. Eubanks vertelt over het moment dat in Amerika plots mensen werden uitgesloten van hun zorgtoeslag, door de komst van een geautomatiseerd systeem. Wanneer iemand niet de gevraagde documenten had ingevoerd via internet, typeert het systeem het geval als ‘failure to cooperate’. In het systeem is geen ruimte voor menselijke fouten of uitzonderingen. Juist kwetsbare mensen, met minder digitale vaardigheden, vallen buiten het systeem.

Het belangrijkste kritiek van Eubanks op dergelijke systemen is dat het systeem precies daarvoor gemaakt is. Vanuit het (politieke) idee dat er een beperkt aantal middelen geboden kan worden, zoals zorg, huisvesting of geld, worden er systemen opgezet die moeten bepalen wie hier het meest recht op heeft. Maar deze systemen zijn er ook om te bepalen wie daar geen recht op heeft, met oog op bezuinigingen. Hiermee creëert de overheid zoals Eubanks het noemt een digital poorhouse.

Kijk ook eens aan de achterkant van technologie

Het belang van mediawijsheid blijkt maar weer eens tijdens deze ‘privacyrede’ van Eubanks. Haar verhaal gaat natuurlijk over Amerika, maar ook in Nederland kunnen we er lessen uit trekken. Bij technologie gaat het vaak alleen over de gebruiker en hoe die er verstandig mee om kan gaan. Nog veel te weinig gaat het om de politieke keuzes en culturele waarden die in de technologie verscholen liggen. Waarom is bepaalde technologie gemaakt? En welke mogelijkheden (of mensen) sluit de technologie uit?

Uit onderzoek in opdracht van Netwerk Mediawijsheid blijkt dat jongeren politieke en commerciële belangen achter technologie en media slecht doorzien. Het is ontzettend belangrijk dat zij (en eigenlijk iedereen) leren hoe technologie tot stand komt. Leer hen de ontwikkeling van technologie in historisch perspectief plaatsen, laat hen ervaren welke besluiten er genomen moeten worden bij het ontwikkelen en leer hen technologie analyseren. Zij zijn de toekomstige makers van deze ‘sociale’ systemen. Zij zijn degenen die ertegen in opstand kunnen komen als technologie een samenleving creëert waarin ongelijkheid niet wordt besteden, maar wordt geautomatiseerd.

Deze lezing werd op eigen initiatief bijgewoond. Bij recensies, verslagen e.d. geldt dat bloggers hun eigen mening delen.

Meer lezen over de impact van digitalisering?

» Digitale ongelijkheid: achterblijvers verder gemarginaliseerd
» Verslag Digisterkerdag 2018: Allemaal digitaal? Meedoen in de digitale samenleving
» Boekrecensie – Wie wil er leven in een datadictatuur?