Sortering efter algoritmer sætter os i felter. Hvordan ved vi, at de er de rigtige? genereret, CC BY

Samfundet ser ud til at være på et kursus til et punkt, hvor vores liv er underlagt kontrol af computeralgoritmer. De data, vi genererer, gennemgås og analyseres, hvad enten det er af regeringer med henblik på national sikkerhed eller virksomheder med overskud, og dette vil sandsynligvis ikke ændre sig - kraften og appellen ved dataanalyse, når den først er fundet, vil ikke blive opgivet let.

Men i virkeligheden spekulerer jeg på, om jeg er mere bekymret for, at vores data indsamles, eller af det faktum, at vi ikke ved noget om algoritmerne, der udtaler os.

Detaljeniveauet om vores liv og vaner, der kan fjernes fra de data, vi efterlader, er blevet diskuteret før og får en frisk luft som en del af debatten omkring det britiske udkast Bill of Investigatory Powers. Vi ved i det mindste noget om, hvilke data der indsamles, og hvor længe de lagres, hvoraf nogle er underlagt britisk og europæisk lov.

I tekst til lovforslagetfor eksempel ved vi, at den britiske regering “kun” vil kræve (uberettiget) adgang til kommunikationsmetadata, overskrifter og emner for e-mails og telefonopkaldsregistreringer. Men vi ved også, hvor afslørende metadata alene kan være: se på MIT Media Labs Immersion-projekt for et stærkt eksempel på, hvor meget detaljer der kan fastslås ud fra det. Det er det bestemt slet ikke sammenlignelig med en specificeret telefonregningsom påstået.

Så på godt og ondt har vi offentligheden en anelse om, hvad der bliver optaget. Men vi har absolut ingen idé om, hvilke analytiske værktøjer og teknikker der anvendes på disse data - og betydningen af ​​dette bør ikke undervurderes.

Hvad knuser tallene?

Vi kan lave veluddannede gæt. Nationale sikkerhedsagenturer bruger sandsynligvis vores metadata til at skabe sociale netværk mellem mennesker og steder, blandt andet ved at forbinde os sammen. Disse forholdsnetværk vil derefter blive analyseret for at afgøre, om vi er en person af interesse, bestemt af, hvordan du sammenligner med andre interesserede personer, og hvordan du opretter forbindelse til eksisterende personer af interesse eller dem, der er relateret til dem.

Forskere, der bruger disse teknikker, forstår deres begrænsninger, og at algoritmerne, der driver dem, kan indeholde fejl eller underliggende antagelser, der har en dybtgående effekt på deres output. I dette tilfælde kan det betyde, om du er mærket som terrorist eller ej, eller om du er berettiget til et lån eller et pant.

Det er heller ikke nøjagtigt klart, hvor i de fuzzy grænseområder eksistensen af ​​et forhold er defineret. Indebærer simpelthen at besøge det samme websted som en terrorist fælles værdier eller køre den samme busrute hver dag, at du regelmæssigt snakker med terrorister? Det er meget muligt at besøge steder, der kendes af kendte terrorister af mange legitime grunde. Hvis du får dine nyheder fra de samme websteder som terrorister, er du mere tilbøjelige til at være terrorist? Diskrimination og bias kan introduceres på tidspunktet for dataindsamling og derefter igen, når der træffes beslutninger om, hvordan data skal analyseres. Algoritmer kan også diskriminere.

Slørede grænser

Muligheden for, at algoritmer indfører uønsket bias, er meget reel. For eksempel er de, der bruges af sikkerhedstjenesterne, trænet i datasæt over kendte terrorister og kendte ikke-terrorister. Betyder dette, da de fleste kendte terrorister er mænd i alderen 20-30, er du mere tilbøjelig til at blive klassificeret som en terrorist for blot at være mandlig og i alderen omkring 20-30, uanset dine andre egenskaber ?. Hvis dette er tilfældet, har dette en væsentlig indflydelse på, hvordan dataene bruges?

Problemet stammer fra det faktum, at jeg og andre akademiske forskere, der bruger komplekse netværksanalyser, maskinindlæring, mønstermatchning eller kunstig intelligens, har brugt vores teknikker offentligt fagfællebedømt for at bestemme styrken af ​​teknikkerne og gyldigheden af ​​konklusionerne; offentlige sikkerhedstjenester og private sektororganisationer ikke. Vi har ingen idé om kvaliteten af ​​deres metoder og hvordan de implementerer dem. Er der en løsning på dette?

Dem fra et andet sikkerhedsfelt, kryptografi, lærte for længe siden, at den bedste måde at forbedre kvaliteten og dermed sikkerheden på dens algoritmer var at gøre dem offentlige. Kryptografiske implementeringer og cifre offentliggøres, og forskere opfordres til at forsøge at finde fejl eller mangler ved at forbedre sikkerheden for alle, der bruger dem. Derudover er enhver implementering af kryptogafiske algoritmer med lukket kilde (ikke-offentlige) generelt betragtes med mistanke. Hvis de skal udtale os livsændrende domme - hvad enten vi er mærket som terrorister eller økonomisk uværdige - bør den samme model anvendes på sikkerhedsalgoritmer.

Et argument mod et sådant skridt er, at åbne og gennemsigtige algoritmer kan få terrorister til at ændre deres virkelige opførsel for at undgå at blive opdaget. Dette ville betyde at ændre ting som deres interaktioner, foreninger, browservaner og potentielt bevægelser. Men dette, hvis algoritmerne fungerer korrekt, ville betyde, at de i det væsentlige ophører med at opføre sig som terrorister. Hvis vores fremtidige sikkerhed, frihed og sikkerhed vil være afhængig af disse algoritmer, skal vi være sikre på nøjagtigt hvordan - og det - de fungerer.

Om forfatteren

Philip Garnett, lektor, University of York.

Denne artikel blev oprindeligt offentliggjort den The Conversation. Læs oprindelige artikel.

Relateret bog:

at

Tak for besøget InnerSelf.com, hvor der er 20,000 + livsændrende artikler, der promoverer "Nye holdninger og nye muligheder." Alle artikler er oversat til 30+ sprog. Tilmeld til InnerSelf Magazine, der udgives ugentligt, og Marie T Russells Daily Inspiration. InnerSelf Magazine er udkommet siden 1985.