I strafferetlige systemer, kreditmarkeder, beskæftigelsesarenaer, optagelsesprocesser for videregående uddannelser og endda sociale medienetværk, datadrevne algoritmer kør nu beslutningstagning på måder, der berører vores økonomiske, sociale og borgerlige liv. Disse softwaresystemer rangerer, klassificerer, knytter eller filtrerer information ved hjælp af menneskeskabte eller datainducerede regler, der giver mulighed for ensartet behandling på tværs af store befolkninger.

Men selvom der kan være effektivitetsgevinster ved disse teknikker, kan de også har bias mod dårligt stillede grupper or styrke strukturel forskelsbehandling. Med hensyn til strafferet er det for eksempel retfærdigt at træffe afgørelser om en persons prøveløsladelse baseret på statistiske tendenser målt over en bred gruppe mennesker? Kunne forskelsbehandling opstå ved at anvende en statistisk model udviklet til en stats befolkning til en anden, demografisk anderledes befolkning?

Offentligheden har brug for at forstå bias og magt i algoritmer, der bruges i den offentlige sfære, herunder af regeringsorganer. En indsats, jeg er involveret i, kaldet algoritmisk ansvarlighed, søger at gøre indflydelsen på disse slags systemer klarere og mere bredt forstået.

Eksisterende gennemsigtighedsteknikker, når de anvendes på algoritmer, kan gøre det muligt for folk at overvåge, revidere og kritisere, hvordan disse systemer fungerer - eller ej, alt efter tilfældet. Desværre synes offentlige agenturer uforberedte til forespørgsler om algoritmer og deres anvendelse i beslutninger, der i væsentlig grad påvirker både enkeltpersoner og offentligheden generelt.

Åbning af algoritmer til offentlig kontrol

Sidste år føderale regering begyndte at studere fordele og ulemper ved at bruge edb-dataanalyse til at hjælpe med at bestemme fængsels indsattes sandsynlighed for genovertrædelse ved løsladelse. Scoring af enkeltpersoner som lav-, mellem- eller højrisiko kan hjælpe med beslutninger om bolig og behandling, idet de identificerer mennesker, der sikkert kan sendes til et minimumsfængsel eller endda et "halvvejs hus" eller som vil drage fordel af en bestemt type psykologisk pleje.

Disse oplysninger kan gøre retfærdighedsprocessen mere effektiv og billigere og endda mindske fængsel i fængsler. Behandling af lavrisikovertrædere som højrisikovertrædere er blevet vist i nogle undersøgelser at føre til, at de internaliserer, er en "syg" kriminel og har brug for behandling for deres afvigende opførsel. At adskille dem kan således reducere udviklingen af ​​negativ adfærd, der ville føre til tilbagevenden ved frigivelsen.

Data og algoritmer til at score indsattes genovertrædelsesrisiko er allerede brugt i vid udstrækning af stater til at håndtere forvaring, prøveløsladelse, prøveløsladelse og endog domfældelse. Men det er let for dem at gå ubemærket hen - de ligner ofte beskedent bureaukratisk papirarbejde.

Typisk koges algoritmerne ned til forenklede score-ark, der udfyldes af offentligt ansatte med ringe forståelse af de underliggende beregninger. For eksempel kan en sagsbehandler muligvis evaluere en fange ved hjælp af en formular, hvor sagsbehandleren markerer, at fangen var blevet dømt for en voldelig forbrydelse, var ung på tidspunktet for den første anholdelse og ikke var færdig med gymnasiet eller fik en GED. Disse faktorer og andre karakteristika ved personen og forbrydelsen resulterer i en score, der antyder, om den indsatte kan være berettiget til prøveløsladelse.

Selve formularen såvel som dens scoringssystem afslører ofte nøglefunktioner om algoritmen, som de variabler, der overvejes, og hvordan de kommer sammen for at danne en samlet risikoscore. Men hvad der også er vigtigt for algoritmisk gennemsigtighed er at vide, hvordan sådanne former blev designet, udviklet og evalueret. Først da kan offentligheden vide, om de faktorer og beregninger, der er involveret i at nå frem til scoren, er retfærdige og rimelige eller uinformerede og partiske.

Brug af Freedom of Information Act

Vores primære værktøj til at få fat i disse formularer og deres støttemateriale er loven og specifikt lovgivningen om informationsfrihed. De er blandt de mest magtfulde mekanismer, som offentligheden har til rådighed for at sikre gennemsigtighed i regeringen. På føderalt niveau er den Lov om informationsfrihed (FOIA) giver offentligheden mulighed for formelt at anmode om - og forvente at modtage til gengæld - dokumenter fra den føderale regering. Der findes analoge vedtægter for hver stat.

Vedtaget i 1966 blev FOIA oprettet inden den udbredte brug af computere, og i god tid før store dataoverførsler rutinemæssigt blev brugt i softwaresystemer til at styre enkeltpersoner og forudsige. Der har været nogle indledende undersøgelser til, om FOIA er i stand til at lette afsløringen af ​​softwarekildekode. Men der er stadig et spørgsmål om, hvorvidt de nuværende love er lydhøre over for offentligheden i det 21. århundrede: kan vi FOIA-algoritmer?

En casestudie inden for algoritmetransparens

Jeg satte mig for at besvare dette spørgsmål på Philip Merrill College of Journalism ved University of Maryland, hvor jeg er adjunkt. I efteråret 2015, i samarbejde med min kollega Sandy Baniskys medialovsklasse, guidede vi studerende til at indsende FOIA-anmodninger til hver af de 50 stater. Vi bad om dokumenter, matematiske beskrivelser, data, valideringsvurderinger, kontrakter og kildekode relateret til algoritmer, der blev brugt i strafferet, såsom til prøveløsladelse og prøvetid, kaution eller domme.

Som et semester langt projekt blev indsatsen nødvendigvis begrænset af tiden med masser af forhindringer og relativt få succeser. Som med mange journalists efterforskning var det endda en udfordring at finde ud af, hvem man skulle spørge - og hvordan -. Forskellige agenturer kan være ansvarlige for forskellige områder af det strafferetlige system (domfældelse kan ske af domstole, men parolehåndtering udført af en afdeling for korrektioner).

Selv efter at have identificeret den rigtige person, fandt studerende, at embedsmænd brugte forskellige terminologier, der gjorde det svært at kommunikere, hvilke oplysninger de ønskede. Til tider måtte studerende arbejde hårdt for at forklare "strafferetlige algoritmer" for en ikke-så-datakyndig offentlig tjenestemand. Set i bakspejlet kunne det have været mere effektivt at bede om ”risikovurderingsværktøjer”, da det er et udtryk, der ofte bruges af statslige regeringer.

Håndtering af svarene

Nogle stater, som f.eks. Colorado, afviste vores anmodning og sagde, at algoritmerne var indeholdt i software, som ikke blev betragtet som et "dokument", der åbnede regeringslove krævede, at embedsmænd skulle offentliggøre. Forskellige stater har forskellige regler om offentliggørelse af softwarebrug. Dette har undertiden dukket op i domstolene, såsom en 2004 sag mod byen Detroit over, om formlen til beregning af vandafgifter, der opkræves til en tilstødende by, skal offentliggøres.

I vores egen indsats modtog vi kun en matematisk beskrivelse af en strafferetlig algoritme: Oregon afsløret de 16 variabler og deres vægte i en model, der blev brugt der til at forudsige tilbagefald. Staten North Dakota udgav et Excel-regneark, der viser ligningen, der blev brugt til at bestemme datoer for, hvor indsatte kunne komme i betragtning til prøveløsladelse. Fra Idaho og New Mexico modtog vi dokumenter med nogle beskrivelser af tilbagevendende risikovurderinger, som disse stater brugte, men ingen detaljer om, hvordan de blev udviklet eller valideret.

Ni stater baserede deres afslag på at videregive detaljer om deres strafferetlige algoritmer på påstanden om, at oplysningerne virkelig var ejet af en virksomhed. Denne implikation er, at frigivelse af algoritmen ville skade det firma, der udviklede den. Et fælles spørgeskema om tilbagefaldsrisiko, kaldes LSI-R, viser sig at være et kommercielt produkt, beskyttet af ophavsret. Stater som Hawaii og Maine hævdede, at det forhindrede offentliggørelsen af ​​det.

Louisiana sagde, at dets kontrakt med udvikleren af ​​en ny teknik til risikovurdering udelukkede frigivelsen af ​​de ønskede oplysninger i seks måneder. Staten Kentucky citerede sin kontrakt med en filantropisk fundament som grunden til, at det ikke kunne afsløre flere detaljer. Bekymringer for proprietær information kan være legitime, men i betragtning af at regeringen rutinemæssigt indgår kontrakter med private virksomheder, hvordan afbalancerer vi disse bekymringer mod et forklarbart og faktisk legitimt retssystem?

Foretag forbedringer

Den meget nødvendige FOIA-reform er i øjeblikket under overvejelse af Kongressen. Dette giver lov til at blive moderniseret, men de foreslåede ændringer gør stadig ikke meget for at imødekomme den voksende brug af algoritmer i regeringen. Oplysninger om algoritmisk gennemsigtighed kan være kodificeret ind i rapporter, som regeringen genererer og offentliggør regelmæssigt som en del af forretningen som sædvanlig.

Som et samfund skal vi kræve, at offentlige informationsofficerer trænes, så de er læseundervisende og faktisk flydende i den terminologi, de kan støde på, når offentligheden beder om algoritmer. Den føderale regering kan endda oprette en ny position for en "algoritmeczar", en ombudsmand, hvis opgave det ville være at kommunikere om og foretage undersøgelser af regeringsautomation.

Ingen af ​​de dokumenter, vi modtog i vores forskning, fortalte os, hvordan formularer til vurdering af strafferetlig risikovurdering blev udviklet eller evalueret. Da algoritmer styrer mere og mere af vores liv, har borgerne brug for - og skal kræve - mere gennemsigtighed.

Om forfatteren

Nicholas Diakopoulos, Tow Fellow, Tow Center for Digital Journalism ved Columbia University; Lektor i journalistik, University of Maryland. Hans forskning er inden for beregnings- og datajournalistik med vægt på algoritmisk ansvarlighed, narrativ datavisualisering og social computing i nyhederne.

Denne artikel blev oprindeligt offentliggjort den The Conversation. Læs oprindelige artikel.

Relaterede bøger

at InnerSelf Market og Amazon