Självlärande dataprogram har börjat göra något vi inte har förutsett. När dataprogrammen iakttar oss drar de inte de slutsatser vi skulle önska. Vi kommer att behöva säga samma sak till dem som föräldrar säger när de uppfostrar sina barn: Gör inte som vi gör, gör som vi säger.
I augusti innehöll tekniktidskriften Wired rubriken ”Machines taught by photos learn a sexist view of women”. I artikeln skrev Tom Simonite att Vicente Ordóñez, professor i datavetenskap vid University of Virginia, studerade självlärande program för bildanalys och fick ett resultat som gjorde honom bekymrad (Wired 21/8). Ordóñez matade sitt dataprogram med foton från ett stort bildbibliotek, och programmet började självmant associera kvinnor med kök. De bildbanker som forskningen använder sig av innehåller tydliga könsroller: kvinnor förekommer på bilder med shopping och hushåll, medan män är vanligast på bilder med vapen och sport. Ordóñez frågade sig om han själv och andra forskare fyller de självlärande systemen med fördomar.
Är det så farligt? Man skulle kunna påstå att programmet uppförde sig som ett barn som ännu inte har lärt sig att man inte ska säga allt man har förstått.
Om program som iakttar en orättvis värld börjar konstruera en egen version av våra oskrivna regler – eller om vi omedvetet väver in våra fördomar i programmen – får vi program som förstärker orättvisor istället för att vara neutrala. ”När IT-branschen börjar utveckla artificiell intelligens riskerar man att introducera rasism och andra fördomar i kod som kommer att fatta beslut i åratal framöver”, kommenterar Megan Garcia (Wired 13/1 2017).
Eftersom självlärande system håller på att byggas in överallt i samhället kan konsekvenserna bli stora. Enligt en studie gjord av Carnegie Mellon University visade en nyhetssajt oftare annonser för högavlönade jobb för män än för kvinnor.
I flera amerikanska delstater tar domstolar hjälp av algoritmer. Algoritmernas rekommendationer vägs in i domen, och påverkar beslut om villkorliga straff eller frigivning mot borgen (Jason Tashea, ”Courts are using AI to sentence criminals. That needs to stop now”, Wired 17/4 2017). Programvaran köps av privata företag, och domstolarna har ingen insyn i hur programmen kommer fram till sina bedömningar. Det har kanske inte tillverkarna heller, eftersom självlärande program utvecklar sina associationer helt utan mänsklig inblandning.
Problemet är inte nytt. 1988 skrev British Medical Journal att St George’s Hospital Medical School i London kritiserades för ett dataprogram som avgjorde vilka studenter som skulle kallas till antagningsintervjuer. I flera fall valde programmet bort kvinnor och studenter med icke-europeiska namn. Inte mycket verkar ha hänt sedan dess, förutom att maskinerna har blivit snabbare.
Eric Horvitz, chef för Microsoft Research, har föreslagit att vi skulle kunna träna upp de självlärande systemen med information som påminner om hur pekböcker för barn brukar se ut: en totalt jämställd värld där alla är nöjda med sina jobb. Jag undrar om den strategin kommer att göra algoritmerna lämpade att hantera den värld vi de facto har. Vad händer när ett system som har uppfostrats på det sättet kolliderar med den orättvisa verkligheten? Vill vi ha en bättre värld är det inte algoritmerna vi borde justera först.