mænd - og lande - i krig
Napoleon kunne have lært af fortiden. maleri af Adolph Northen/wikipedia

Det er en kliché, at ikke at kende historien får en til at gentage den. Som mange også har påpeget, er det eneste, vi lærer af historien, at vi sjældent lærer noget af historien. Folk engagerer sig i landkrige i Asien igen og igen. De gentager også de samme datingfejl igen og igen. Men hvorfor sker dette? Og vil teknologien sætte en stopper for det?

Et problem er glemsomhed og "nærsynethed”: vi kan ikke se, hvordan tidligere begivenheder er relevante for nuværende, når vi overser det udfoldede mønster. Napoleon burde have bemærket lighederne mellem hans march mod Moskva og den svenske konge Karl XIIs mislykkede forsøg på at gøre det samme omkring et århundrede før ham.

Vi er også dårlig til at lære når det går galt. I stedet for at afgøre, hvorfor en beslutning var forkert, og hvordan vi undgår, at den nogensinde sker igen, forsøger vi ofte at ignorere den pinlige udvikling. Det betyder, at næste gang en lignende situation opstår, ser vi ikke ligheden – og gentager fejlen.

Begge afslører problemer med information. I det første tilfælde kan vi ikke huske personlige eller historiske oplysninger. I den anden form undlader vi at indkode information, når den er tilgængelig.


indre selv abonnere grafik


Når det er sagt, laver vi også fejl, når vi ikke effektivt kan udlede, hvad der skal ske. Måske er situationen for kompleks eller for tidskrævende at tænke på. Eller vi er forudindtaget til at misfortolke, hvad der foregår.

Teknologiens irriterende kraft

Men teknologien kan vel hjælpe os? Vi kan nu gemme information uden for vores hjerne og bruge computere til at hente dem. Det burde gøre det nemt at lære og huske, ikke?

Lagring af oplysninger er nyttigt, når det kan hentes godt. Men at huske er ikke det samme som at hente en fil fra en kendt placering eller dato. At huske indebærer at opdage ligheder og bringe ting i tankerne.

En kunstig intelligens (AI) skal også spontant kunne bringe ligheder til vores sind - ofte uvelkomne ligheder. Men hvis den er god til at bemærke mulige ligheder (den kunne trods alt søge på hele internettet og alle vores personlige data), vil den også ofte bemærke falske.

For mislykkede dates kan det bemærke, at de alle involverede middag. Men det var aldrig spisningen, der var problemet. Og det var en ren tilfældighed, at der stod tulipaner på bordet - ingen grund til at undgå dem. Vi gentager ofte datingfejl. 

Det betyder, at den vil advare os om ting, vi er ligeglade med, muligvis på en irriterende måde. Nedjustering af dens følsomhed betyder at øge risikoen for ikke at få en advarsel, når det er nødvendigt.

Dette er et grundlæggende problem og gælder lige så meget for enhver rådgiver: den forsigtige rådgiver vil græde ulv for ofte, den optimistiske rådgiver vil gå glip af risici.

En god rådgiver er en, vi stoler på. De har omtrent samme grad af forsigtighed som os, og vi ved, at de ved, hvad vi vil have. Dette er svært at finde i en menneskelig rådgiver, og endnu mere i en AI.

Hvor stopper teknologien fejl? Idiot-proofing virker. Skæremaskiner kræver, at du holder knapperne nede og holder hænderne væk fra knivene. En "dødmandskontakt" stopper en maskine, hvis operatøren bliver uarbejdsdygtig.

Mikrobølgeovne slukker for strålingen, når døren åbnes. For at affyre missiler skal to personer dreje nøglerne samtidigt hen over et rum. Her gør omhyggeligt design det svære at lave fejl. Men vi bekymrer os ikke nok om mindre vigtige situationer, hvilket gør designet der langt mindre idiotsikkert.

Når teknologien fungerer godt, stoler vi ofte for meget på den. Flyselskabpiloter har færre rigtige flyvetimer i dag end tidligere på grund af autopilotsystemernes fantastiske effektivitet. Dette er dårlige nyheder, når autopiloten svigter, og piloten har mindre erfaring at gå på for at rette op på situationen.

Den første af en ny race af olieplatform (Sleipnir A) sank fordi ingeniører stolede på softwareberegningen af ​​de kræfter, der virker på den. Modellen var forkert, men den præsenterede resultaterne på en så overbevisende måde, at de så pålidelige ud.

Meget af vores teknologi er utrolig pålidelig. For eksempel lægger vi ikke mærke til, hvordan tabte pakker med data på internettet konstant bliver fundet bag kulisserne, hvordan fejlkorrigerende koder fjerner støj, eller hvordan sikringer og redundans gør apparater sikre.

Men når vi hober på niveau efter niveau af kompleksitet, ser det meget upålideligt ud. Vi bemærker, når Zoom-videoen halter, AI-programmet svarer forkert, eller computeren går ned. Spørg alligevel enhver, der brugte en computer eller bil for 50 år siden, hvordan de faktisk fungerede, og du vil bemærke, at de både var mindre dygtige og mindre pålidelige.

Vi gør teknologien mere kompleks, indtil den bliver for irriterende eller usikker at bruge. Efterhånden som delene bliver bedre og mere pålidelige, vælger vi ofte at tilføje nye spændende og nyttige funktioner frem for at holde fast i det, der virker. Dette gør i sidste ende teknologien mindre pålidelig, end den kunne være.

Der vil blive begået fejl

Det er også derfor AI er et tveægget sværd til at undgå fejl. Automatisering gør ofte tingene sikrere og mere effektive, når den fungerer, men når den fejler, gør den problemerne langt større. Autonomi betyder, at smart software kan supplere vores tænkning og aflaste os, men når den ikke tænker, som vi ønsker, kan den opføre sig forkert.

Jo mere kompleks det er, jo mere fantastiske kan fejlene være. Enhver, der har beskæftiget sig med meget intelligente lærde, ved, hvor godt de kan rode ting op med stor opfindsomhed, når deres sunde fornuft svigter dem – og AI har meget lidt menneskelig sund fornuft.

Dette er også en dyb grund til at bekymre sig om AI, der styrer beslutningstagningen: de laver nye slags fejl. Vi mennesker kender menneskelige fejl, hvilket betyder, at vi kan passe på dem. Men smarte maskiner kan lave fejl, vi aldrig kunne forestille os.

Hvad mere er, AI-systemer er programmeret og trænet af mennesker. Og der er masser af eksempler på sådanne systemer bliver partiske og endda bigotte. De efterligner skævhederne og gentager fejlene fra den menneskelige verden, selv når de involverede mennesker eksplicit forsøger at undgå dem.

I sidste ende vil fejl blive ved med at ske. Der er grundlæggende grunde til, at vi tager fejl i verden, hvorfor vi ikke husker alt, hvad vi burde, og hvorfor vores teknologi ikke perfekt kan hjælpe os med at undgå problemer.

Men vi kan arbejde for at mindske konsekvenserne af fejl. Fortryd-knappen og autogem har gemt utallige dokumenter på vores computere. Monumentet i London, tsunami sten i Japan og andre monumenter handler for at minde os om visse risici. God designpraksis gør vores liv sikrere.

I sidste ende er det muligt at lære noget af historien. Vores mål bør være at overleve og lære af vores fejl, ikke forhindre dem i nogensinde at ske. Det kan teknologien hjælpe os med, men vi er nødt til at tænke grundigt over, hvad vi egentlig vil have ud af det – og designe derefter.

Om forfatteren

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute og Oxford Martin School, University of Oxford

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs oprindelige artikel.