Amazon begyndte for nylig at tilbyde levering samme dag i udvalgte storbyområder. Dette kan være godt for mange kunder, men udrulningen viser, hvordan edb-beslutningstagning også kan levere en stærk dosis diskrimination.

Fornuftigt begyndte virksomheden sin service i områder, hvor leveringsomkostningerne ville være lavest ved at identificere postnumre på tætbefolkede steder, hvor mange eksisterende Amazon-kunder var hjemsted, med indkomstniveauer, der var høje nok til at foretage hyppige køb af produkter til levering samme dag. Virksomheden leverede en webside, der lader kunder indtaste deres postnummer for at se, om levering samme dag tjente dem. Undersøgelsesjournalister på Bloomberg News brugte den side til oprette kort over Amazons serviceområde til levering samme dag.

Bloomberg-analysen afslørede, at mange fattige byområder blev udelukket fra tjenesteområdet, mens mere velhavende nabolande blev inkluderet. Mange af disse udelukkede fattige områder var overvejende beboet af mindretal. For eksempel var hele Boston dækket undtagen Roxbury; New York City-dækningen omfattede næsten alle fire bydele, men udelukkede Bronx fuldstændigt; Chicago dækning udeladt den fattige South Side, mens den strækker sig væsentligt til velhavende nordlige og vestlige forstæder.

Mens det er fristende at tro, at datadrevne beslutninger er upartiske, forskning og videnskabelig diskussion er begyndt at demonstrere det uretfærdighed og diskrimination forbliver. I min online kursus om dataetik, lærer de studerende det algoritmer kan diskriminere. Men der kan være lidt af en sølvforing: Som Bloomberg-forskningen antyder, kan det at basere beslutninger på data også gøre det lettere at opdage, når der opstår forstyrrelser.

Bias kan være utilsigtet

Uretfærdighed som den i Amazons leveringspolitik kan opstå af mange grunde, herunder skjulte fordomme - såsom antagelser om, at befolkningerne er fordelt ensartet. Algoritmedesignere har sandsynligvis ikke til hensigt at forskelsbehandle og er måske ikke engang klar over, at et problem er kommet ind.

Amazon fortalte Bloomberg, at det ikke havde nogen diskriminerende hensigt, og der er enhver grund til at tro påstanden. Som svar på Bloomberg-rapporten by embedsmænd , andre politikere opfordrede Amazon til at løse dette problem. Virksomheden flyttede hurtigt for at tilføje de oprindeligt udelukkede dårlige bynumre til dets tjenesteområde.

Et lignende spørgsmål har været spurgte Uber, som ser ud til at give bedre service til områder beboet af højere andele af hvide mennesker. Det er sandsynligt, at der vil blive opdaget flere eksempler på detailhandel og serviceindustri på utilsigtet algoritmisk diskrimination i fremtiden.

Spørg for meget af algoritmer?

Vi bør sætte et øjeblik på pause for at overveje, om vi uretmæssigt kræver algoritmiske beslutninger. Virksomheder, der driver murstensbutikker, tager hele tiden placeringsbeslutninger under hensyntagen til kriterier, der ikke er så forskellige fra Amazons. Butikker forsøger at have placeringer, der er bekvemme for en stor pulje af potentielle kunder med penge at bruge.

Som følge heraf vælger kun få butikker at finde i fattige kvarterer i byen. Især i forbindelse med købmandsforretninger er dette fænomen blevet undersøgt grundigt, og udtrykket “mad ørken”Er blevet brugt til at beskrive byområder, hvis beboere ikke har praktisk adgang til frisk mad. Det her placering bias er mindre undersøgt for detailbutikker generelt.

Som et vejledende eksempel kiggede jeg på de 55 Michigan-placeringer i Target, en stor omfattende detailkæde. Da jeg sorterede hvert Michigan-postnummer baseret på, om dets gennemsnitlige indkomst var i den øverste halvdel eller nederste halvdel i hele staten, fandt jeg ud af, at kun 16 af Target-butikkerne (29 procent) var i postnumre fra gruppen med lavere indkomst. Mere end dobbelt så mange, 39 butikker, var placeret i postnumre fra den mere velhavende halvdel.

Identificering af forskelsbehandling

Desuden er der ingen Target-butikker i byen Detroit, selvom der er flere i dens (rigere) forstæder. Alligevel har der ikke været noget populært oprør om, at Target uretfærdigt diskriminerer fattige mennesker i sine beslutninger om butiksplacering. Der er to hovedårsager til, at bekymringerne om Amazon er berettigede: stivhed og dominans.

Stivhed har at gøre med både online-forhandlerens beslutningsprocesser og med resultatet. Amazon beslutter, hvilke postnumre der er i tjenesteområdet. Hvis en kunde bor lige på den anden side af gaden fra den grænse, som Amazon har sat, er hun uden for serviceområdet og kan ikke gøre noget ved det. I modsætning hertil kan en person, der bor i et postnummer uden en Target-butik, stadig handle på Target - selvom det kan tage længere tid at komme derhen.

Det betyder også, hvor dominerende en detailhandler er i forbrugernes sind. Mens Target kun er en af ​​mange fysiske butikskæder, nyder Amazon markedsdominans som en webforhandlerog tiltrækker derfor mere opmærksomhed. En sådan dominans er et kendetegn ved nutidens vinderen tager alt webvirksomheder.

Mens deres stivhed og dominans kan give os større bekymring for online-forretninger, er vi også bedre i stand til at opdage deres forskelsbehandling end for murstensbutikker. For en traditionel kædebutik er vi nødt til at gætte, hvor langt forbrugerne er villige til at rejse. Vi skal muligvis også være opmærksomme på tiden: Fem miles til den næste motorvejsafkørsel er ikke den samme som fem miles via overbelastede gader til den anden side af byen. Desuden kan selve rejsetiden variere meget afhængigt af tidspunktet på dagen. Efter at have identificeret de sandsynlige områder, en butik betjener, kortlægger de muligvis ikke pænt i geografiske enheder, som vi har statistikker for race eller indkomst for. Kort sagt, analysen er rodet og kræver meget indsats.

I modsætning hertil ville det kun have taget journalister på Bloomberg et par timer at udvikle et kort over Amazons serviceområde og korrelere det med indkomst eller race. Hvis Amazon havde gjort dette internt, kunne de have udført den samme analyse på få minutter - og måske bemærket problemerne og løst dem, før service samme dag overhovedet begyndte.

Hvordan sammenligner mennesker?

Lad os se på et meget andet eksempel for at se, hvordan de samme punkter gælder bredt. For nylig offentliggjorde ProPublica en fremragende analyse af racediskrimination ved hjælp af en algoritme, der forudsiger en forbryderes sandsynlighed for at fornærme igen. Algoritmen overvejer snesevis af faktorer og beregner et sandsynlighedsoverslag. ProPublicas analyse fandt signifikant systematisk race-bias, selvom race ikke var blandt de specifikke faktorer, der blev overvejet.

Uden algoritmen ville en menneskelig dommer foretage et lignende skøn som en del af en dom eller domstolsafgørelse. Den menneskelige beslutning kan overveje et rigere sæt faktorer, såsom kriminelens opførsel i retssalen. Men vi ved, fra studier i psykologi, At menneskelig beslutningstagning er fyldt med bias, selv når vi gør vores bedste for at være retfærdige.

Men eventuelle fejl, der skyldes bias i menneskelige dommers afgørelser, vil sandsynligvis være forskellige blandt dommere og endda for forskellige beslutninger truffet af den samme dommer. Samlet set kan der være racediskrimination på grund af ubevidst bias, men det er vanskeligt at etablere dette endeligt. En undersøgelse fra det amerikanske justitsministerium fandt stærke beviser for forskelle i dommen over hvide og sorte fanger, men kunne ikke klart afgøre, om race selv var en faktor i disse beslutninger.

I modsætning hertil bruges den nøjagtige samme algoritme, som ProPublica kiggede på, i tusinder af tilfælde på tværs af mange stater. Dens stivhed og det store volumen letter jobbet med at afgøre, om det diskriminerer - og kan tilbyde måder til effektivt at rette op på problemet.

Brug af informationsteknologi synes at gøre linjer lysere, forskelle skarpere og data om alt dette meget lettere tilgængelige. Hvad der kunne børstes under tæppet i går, klamrer nu for opmærksomhed. Da vi finder flere og flere anvendelser til datadrevne algoritmer, er det endnu ikke almindeligt at analysere deres retfærdighed, især inden udrulningen af ​​en ny databaseret tjeneste. At gøre det til det vil gå langt med at måle og forbedre retfærdigheden i disse stadig vigtigere edb-beregninger.

Om forfatteren

HV Jagadish, Bernard A Galler Collegiate Professor of Electrical Engineering and Computer Science, University of Michigan

Denne artikel blev oprindeligt offentliggjort den The Conversation. Læs oprindelige artikel.

Relaterede bøger

at InnerSelf Market og Amazon