Algoritmer til ansigtsgenkendelse testes normalt ved hjælp af hvide ansigter, hvilket resulterer i, at teknologien ikke er i stand til at skelne mellem raciserede individer. (Shutterstock)
Detroit-politiet anholdt med urette Robert Julian-Borchak Williams i januar 2020 for en shoplifting-hændelse, der havde fundet sted to år tidligere. Selvom Williams ikke havde noget med hændelsen at gøre, "matchede" ansigtsgenkendelsesteknologien, der blev brugt af Michigan State Police, hans ansigt med et kornet billede, der blev opnået fra en overvågningsvideo i butikken, der viste en anden afroamerikansk mand, der tog US $ 3,800 ure.
To uger senere blev sagen afvist efter anklagemyndighedens anmodning. Imidlertid havde politiet allerede på baggrund af den defekte kamp håndjern og arresteret Williams foran sin familie, tvunget ham til at give et krusskud, fingeraftryk og en prøve af hans DNA, forhørt ham og fængslet ham natten over.
Eksperter antyder, at Williams ikke er alene, og at andre er blevet udsat for lignende uretfærdigheder. Den igangværende kontrovers om politiets brug af Clearview AI understreger bestemt de privatlivsrisici, som ansigtsgenkendelsesteknologien udgør. Men det er vigtigt at indse det ikke alle af os bærer disse risici lige meget.
Uddannelse af racistiske algoritmer
Ansigtsgenkendelsesteknologi, der er trænet på og indstillet til kaukasiske ansigter systematisk identificerer og forkert mærker raciserede individer: adskillige undersøgelser rapporterer, at ansigtsgenkendelsesteknologi er “fejlbehæftet og forudindtaget med signifikant højere fejlprocent, når de bruges mod folk i farve".
Denne undergraver racialiserede personers individualitet og menneskelighed der er mere tilbøjelige til at blive misidentificeret som kriminelle. Teknologien - og de identifikationsfejl, den foretager - afspejler og yderligere forankrer mangeårige sociale splittelser, der er dybt viklet ind i racisme, sexisme, homofobi, bosætter-kolonialisme og andre krydsende undertrykkelser.
{vembed Y=vSuDE6wvQlU}
En France24-undersøgelse af race-bias inden for ansigtsgenkendelsesteknologi.
Hvordan teknologi kategoriserer brugere
I sin spilændrende bog fra 1993 Panoptic Sort, advarede forsker Oscar Gandy, at “kompleks teknologi [der] involverer indsamling, behandling og deling af information om enkeltpersoner og grupper, der genereres gennem deres daglige liv ... bruges til at koordinere og kontrollere deres adgang til de varer og tjenester, der definerer livet i den moderne kapitalistiske økonomi. ” Retshåndhævelse bruger det til at plukke mistænkte fra offentligheden, og private organisationer bruger det til at afgøre, om vi har adgang til ting som f.eks bank , beskæftigelse.
Gandy advarede profetisk om, at hvis denne form for "cybernetisk triage", hvis den ikke kontrolleres, eksponentielt ville være til skade for medlemmer af ligestillingssamfund - for eksempel grupper, der er raciserede eller socioøkonomisk dårligt stillede - både hvad angår hvad der ville blive tildelt dem og hvordan de måske kommer til at forstå sig selv.
Omkring 25 år senere lever vi nu med den panoptiske slags på steroider. Og eksempler på dens negative virkninger på ligestillingssøgende samfund findes i overflod, såsom den falske identifikation af Williams.
Forudgående bias
Denne sortering ved hjælp af algoritmer infiltrerer de mest grundlæggende aspekter af hverdagen og medfører både direkte og strukturel vold i kølvandet.
Den direkte vold, som Williams har oplevet, er med det samme tydelig i begivenhederne omkring hans anholdelse og tilbageholdelse, og de individuelle skader, han oplevede, er åbenlyse og kan spores til politiets handlinger, der valgte at stole på teknologiens "match" for at anholde en arrestation. Mere snigende er strukturel vold begået gennem ansigtsgenkendelsesteknologi og andre digitale teknologier at bedømme, matche, kategorisere og sortere enkeltpersoner på måder, der forstørrer eksisterende diskriminerende mønstre.
Strukturelle voldsskader er mindre indlysende og mindre direkte og forårsager skade for ligestillingssøgende grupper gennem systematisk benægtelse af magt, ressourcer og muligheder. Samtidig øger det direkte risiko og skade for individuelle medlemmer af disse grupper.
Forudsigende politimæssige anvendelser algoritmisk behandling af historiske data for at forudsige, hvornår og hvor nye forbrydelser sandsynligvis vil forekomme, tildeler politiets ressourcer i overensstemmelse hermed og integrerer forbedret politiovervågning i samfund, normalt i kvarterer med lavere indkomst og racistiske forhold. Dette øger chancerne for, at enhver kriminel aktivitet - herunder mindre alvorlig kriminel aktivitet, der ellers måske ikke giver anledning til politiets reaktion - vil blive opdaget og straffet, hvilket i sidste ende begrænser livsmulighederne for de mennesker, der bor i dette miljø.
Og beviset for uligheder i andre sektorer fortsætter med at montere. Hundredvis af studerende i Storbritannien protesterede den 16. august mod de katastrofale resultater af Ofkval, en mangelfuld algoritme, som den britiske regering brugte til at bestemme, hvilke studerende der ville kvalificere sig til universitetet. I 2019 annoncerede Facebooks mikrotargeting-annoncetjeneste hjulpet snesevis af arbejdsgivere i den offentlige og private sektor udelukke personer fra at modtage jobannoncer på baggrund af alder og køn. Forskning udført af ProPublica har dokumenteret race-baseret prisdiskrimination for online-produkter. Og søgemaskiner producerer regelmæssigt racistiske og sexistiske resultater.
Forevigende undertrykkelse
Disse resultater betyder noget, fordi de opretholder og uddyber allerede eksisterende uligheder baseret på egenskaber som race, køn og alder. De betyder også, fordi de dybt påvirker, hvordan vi lærer os selv og verden omkring os at kende, nogle gange af forudvalg af oplysningerne vi modtager på måder, der forstærker stereotype opfattelser. Selv teknologivirksomheder selv anerkender haster med at stoppe algoritmer fra at opretholde diskrimination.
Indtil i dag har succesen med ad hoc-undersøgelser, der er udført af teknologivirksomhederne selv, været inkonsekvent. Lejlighedsvis trækker virksomheder, der er involveret i at producere diskriminerende systemer, dem tilbage fra markedet, som når Clearview AI meddelte, at det ikke længere ville tilbyde ansigtsgenkendelsesteknologi i Canada. Men ofte skyldes sådanne beslutninger kun lovgivningsmæssig kontrol eller offentligt oprør efter medlemmer af ligestillingssamfund er allerede blevet skadet.
Det er tid til at give vores regulerende institutioner de værktøjer, de har brug for til at løse problemet. Enkel privatlivsbeskyttelse, der er afhængig af at få individuelt samtykke til at gøre det muligt at registrere og genoprette data af virksomheder, kan ikke adskilles fra de diskriminerende resultater af denne brug. Dette gælder især i en tid, hvor de fleste af os (herunder teknologivirksomheder selv) ikke fuldt ud kan forstå, hvad algoritmer gør, eller hvorfor de producerer specifikke resultater.
Privatliv er en menneskerettighed
En del af løsningen indebærer at nedbryde de nuværende lovgivningsmæssige siloer, der behandler privatlivets fred og menneskerettigheder som separate spørgsmål. At stole på en samtykkebaseret databeskyttelsesmodel flyver over for det grundlæggende princip, at privatlivets fred og ligestilling begge er menneskerettigheder, der ikke kan indgås på kontrakt.
Endog Canadas digitale charter - den føderale regerings seneste forsøg på at imødegå manglerne ved den aktuelle situation i det digitale miljø - fastholder disse konceptuelle forskelle. Det behandler had og ekstremisme, kontrol og samtykke og stærkt demokrati som separate kategorier.
For at tackle algoritmisk forskelsbehandling skal vi anerkende og indramme både privatlivets fred og lighed som menneskerettigheder. Og vi skal skabe en infrastruktur, der er lige så opmærksom på og ekspert i begge dele. Uden en sådan indsats vil den blanke glans af matematik og videnskab fortsætte med at camouflere AIs diskriminerende fordomme, og travestier som den, der påføres Williams, kan forventes at formere sig.
Om forfatterne
Jane Bailey, professor i jura og medleder for eQuality-projektet, L'Université d'Ottawa / University of Ottawa; Jacquelyn Burkell, associeret næstformand, forskning, Western Universityog Valerie Steeves, fuld professor, L'Université d'Ottawa / University of Ottawa
Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs oprindelige artikel.
Bøger om ulighed fra Amazons bestsellerliste
"Caste: Oprindelsen af vores utilfredshed"
af Isabel Wilkerson
I denne bog undersøger Isabel Wilkerson historien om kastesystemer i samfund rundt om i verden, herunder i USA. Bogen udforsker kastenes indvirkning på individer og samfund og tilbyder en ramme for at forstå og adressere ulighed.
Klik for mere info eller for at bestille
"The Color of Law: En glemt historie om, hvordan vores regering adskilte Amerika"
af Richard Rothstein
I denne bog udforsker Richard Rothstein historien om regeringspolitikker, der skabte og forstærkede raceadskillelse i USA. Bogen undersøger virkningen af disse politikker på enkeltpersoner og lokalsamfund og tilbyder en opfordring til handling for at imødegå vedvarende ulighed.
Klik for mere info eller for at bestille
"Summen af os: Hvad racisme koster alle, og hvordan vi kan trives sammen"
af Heather McGhee
I denne bog udforsker Heather McGhee de økonomiske og sociale omkostninger ved racisme og tilbyder en vision for et mere retfærdigt og velstående samfund. Bogen indeholder historier om enkeltpersoner og lokalsamfund, der har udfordret ulighed, samt praktiske løsninger til at skabe et mere rummeligt samfund.
Klik for mere info eller for at bestille
"The Deficit Myth: Modern Monetary Theory and the Birth of the People's Economy"
af Stephanie Kelton
I denne bog udfordrer Stephanie Kelton konventionelle ideer om offentlige udgifter og det nationale underskud og tilbyder en ny ramme for forståelse af økonomisk politik. Bogen indeholder praktiske løsninger til at imødegå ulighed og skabe en mere retfærdig økonomi.
Klik for mere info eller for at bestille
"The New Jim Crow: Mass Incarceration in the Age of Colorblindness"
af Michelle Alexander
I denne bog udforsker Michelle Alexander de måder, hvorpå det strafferetlige system fastholder racemæssig ulighed og diskrimination, især mod sorte amerikanere. Bogen indeholder en historisk analyse af systemet og dets indvirkning, samt en opfordring til handling til reform.
