-
Ledelse

Roboter er rasistiske og diskriminerer

Mads Nordmo Arnestad

Samfunnet er urettferdig. Lærende roboter gjenspeiler det. Vi ser likevel ut til å bli mindre sinte på maskiner enn på mennesker.

Kommentar: Mads Nordmo Arnestad om lærende maskiner

Lærende roboter er allerede flinkere enn mennesker til å ta beslutninger innenfor mange områder. Robotene kan samle sammen enorme mengder data, og fatte tiltakende treffsikre beslutninger basert på algoritmer som kontinuerlig utvikles og forbedres med erfaring.

Den åpenbare konsekvensen av dette er at en rekke mennesker vil miste sin nåværende jobb.

Robotene diskriminerer

En mindre åpenbar konsekvens er at robotene vil opptre diskriminerende på måter vi kanskje ikke liker.

Prøveløslatelse er et eksempel på en vanskelig beslutning som robotene kan hjelpe oss med. Det er synd å holde rehabiliterte mennesker unødig lenge i fengsel, men også uheldig å slippe ut noen som vil begå ny kriminalitet. Sannsynlighet for gjentakelse er derfor viktig å vurdere i denne beslutningen.

Dette er ganske vanskelig, så i USA har man utviklet roboter som skal kunne ta disse vurderingene for oss. Prøveløslatelsesroboten får all tilgjengelig input om de innsatte, samt input om gjentakelse, slik at den lærer konsekvensen av beslutningene som tas over tid. På denne måten lærer roboten å identifisere de kombinasjoner av karakteristikker som er assosiert med høyere og lavere gjentagelsesrisiko.

Mer rasistisk enn mennesker

Problemet er at etter kort tid utviklet roboten en systematisk tendens til å vurdere svarte lovbrytere som langt mer risikable enn hvite lovbrytere. Den lot derfor de hvite innsatte få prøveløslatelse, mens de svarte måtte sone lenger. Roboten ble mer rasistisk enn menneskene den erstattet.

Men er det meningsfylt å kalle roboten for rasist? Det amerikanske samfunnet er belemret med stor rasemessig ulikhet, hvilket også gjenspeiles i kriminalitetsstatistikken. Roboten ender opp med å diskriminere fordi det finnes systematiske ulikheter i samfunnet, og den har fått i oppgave å lære seg hva disse er.

Den er ikke begrenset av sosiale normer om likebehandling eller anstendighet. Roboten får dessuten ikke direkte input om hudfarge. Den lærer seg allikevel å forskjellsbehandle mellom svarte og hvite, ettersom hudfarge samvarierer med en rekke andre datapunkt. Samfunnet er urettferdig, roboten reflekterer bare dette tilbake til oss.

Roboter på flere områder

Det er finnes mange beslutninger som kan forstås som et optimaliseringsproblem, a la prøveløslatelsesbeslutninger. Og det å kunne predikere hva mennesker vil gjøre er god butikk og god samfunnsøkonomi. Det er derfor forventelig å se for seg lærende roboter på flere beslutningsarenaer, med tilsvarende dilemma om diskriminering.

  • Helsevesenets beslutningsroboter vil ikke kunne unngå å legge merke til at de rike har større utbytte av mange behandlinger enn de fattige har.
  • Samordna opptak sin fremtidige robot vil gradvis oppdage at søkerne fra Asker og Bærum lykkes best på medisin og juss.
  • Roboten som skal ta beslutninger om lån og forsikring vil umiddelbart se at risikoen er høyere for et av kjønnene, enkelte etniske grupper, og de som liker Brun og Blid på Facebook. 

Blir sint på mennesker, ikke på maskiner

Men vil ikke robotisert diskriminering fremkalle ‘rage against the machine’? Eksperimentene til nederlandske Mascha van’t Wout sår tvil om dette. Hun lot sine forsøkspersoner spille en variant av det såkalte ultimatumspillet.

I dette spillet må deltakerne velge mellom å akseptere eller avvise forslag til fordeling av en pengesum. Hvis forslaget aksepteres får spillerne penger i henhold til forslaget, mens hvis forslaget avvises får ingen av spillerne noen penger.

I eksperimentet trodde halvparten av forsøkspersonene at de spilte mot et annet menneske, mens resten trodde motparten var en computer. Forsøkspersonene spilte med sensorer på kroppen, slik at forskerne kunne måle affektiv aktivering (les: sinne).

Resultatene viste at urettferdige forslag medførte sinne og avslag, - men bare når respondenten trodde den spilte mot et annet menneske. Når menneskene antok at tilbyderen var en computer aksepterte de urettferdighet, uten å bli sinte.

Kan forsterke forskjeller

Enkelte grupper i samfunnet har vesentlige fordeler som andre ikke har. Disse fordelene gjør dem til marginalt bedre studenter, medarbeidere, låntakere, pasienter og forsikringsobjekt. Introduksjonen av lærende roboter kan ende opp med å forsterke og sementere disse forskjellene. Og det er ikke engang sikkert at vi vil bli sint hvis det skjer.

Referanse:

Artikkelen er publisert som kronikk/hovedinnlegg debatt i Dagens Næringsliv 5. september 2017.

Publisert 8. september 2017

Du kan også se alle nyheter her.