I 1956, under en årelang tur til London og i begyndelsen af 20'erne, besøgte matematikeren og teoretiske biologen Jack D. Cowan Wilfred Taylor og hans mærkelige nye "læremaskine”. Ved sin ankomst blev han forbløffet over den "store bank af apparater", der konfronterede ham. Cowan kunne kun stå og se "maskinen gøre sit". Det, det så ud til at gøre, var at udføre et "associativt hukommelsesskema" - det så ud til at være i stand til at lære at finde forbindelser og hente data.
Det kan have lignet klodsede kredsløbsblokke, loddet sammen i hånden i en masse ledninger og kasser, men hvad Cowan var vidne til var en tidlig analog form af et neuralt netværk – en forløber for den mest avancerede kunstige intelligens i dag, inklusive meget diskuteret ChatGPT med sin evne til at generere skriftligt indhold som svar på næsten enhver kommando. ChatGPTs underliggende teknologi er et neuralt netværk.
Da Cowan og Taylor stod og så maskinen arbejde, havde de virkelig ingen idé om præcis, hvordan det lykkedes at udføre denne opgave. Svaret på Taylors mystiske maskinehjerne kan findes et sted i dens "analoge neuroner", i de associationer, dens maskinhukommelse og, vigtigst af alt, i det faktum, at dens automatiserede funktion ikke rigtigt kunne forklares fuldt ud. Det ville tage årtier for disse systemer at finde deres formål, og for den magt at blive låst op.
Udtrykket neurale netværk inkorporerer en bred vifte af systemer, men centralt, ifølge IBM, disse "neurale netværk - også kendt som kunstige neurale netværk (ANN'er) eller simulerede neurale netværk (SNN'er) - er en undergruppe af maskinlæring og er kernen i deep learning algoritmer". Det er afgørende, at udtrykket selv og deres form og "struktur er inspireret af den menneskelige hjerne og efterligner den måde, biologiske neuroner signalerer til hinanden".
Der kan have været en vis tilbageværende tvivl om deres værdi i de indledende faser, men efterhånden som årene er gået, har AI-moden svinget kraftigt mod neurale netværk. De er nu ofte forstået som fremtiden for AI. De har store konsekvenser for os og for, hvad det vil sige at være menneske. Vi har hørt genklang af disse bekymringer for nylig med opfordringer til at sætte nye AI-udviklinger på pause i en seks måneders periode for at sikre tillid til deres implikationer.
Det ville helt sikkert være en fejl at afvise det neurale netværk som udelukkende om blanke, iøjnefaldende nye gadgets. De er allerede veletablerede i vores liv. Nogle er stærke i deres praktiske funktion. Så langt tilbage som i 1989 brugte et team ledet af Yann LeCun hos AT&T Bell Laboratories tilbage-udbredelsesteknikker til at træne et system til at genkende håndskrevne postnumre. Den seneste meddelelse fra Microsoft at Bing-søgninger vil blive drevet af AI, hvilket gør det til din "copilot til nettet", illustrerer, hvordan de ting, vi opdager, og hvordan vi forstår dem, i stigende grad vil være et produkt af denne type automatisering.
Ved at trække på store data for at finde mønstre kan AI på samme måde trænes til at gøre ting som billedgenkendelse med hastighed - hvilket resulterer i, at de bliver inkorporeret i ansigtsgenkendelse, for eksempel. Denne evne til at identificere mønstre har ført til mange andre applikationer, som f.eks forudsige aktiemarkederne.
Neurale netværk ændrer også, hvordan vi fortolker og kommunikerer. Udviklet af den interessante titel Google Brain Team, Google Translate er en anden fremtrædende anvendelse af et neuralt netværk.
Du ønsker heller ikke at spille skak eller Shogi med en. Deres forståelse af regler og deres genkaldelse af strategier og alle registrerede træk betyder, at de er usædvanligt gode til spil (selvom ChatGPT ser ud til at kæmper med Wordle). Systemerne, der plager menneskelige Go-spillere (Go er et notorisk vanskeligt strategibrætspil) og skak-stormestre, er lavet af neurale netværk.
Men deres rækkevidde går langt ud over disse tilfælde og fortsætter med at udvide. En søgning i patenter, der kun er begrænset til omtaler af den nøjagtige sætning "neurale netværk", giver 135,828 resultater. Med denne hurtige og løbende udvidelse kan chancerne for, at vi fuldt ud kan forklare AIs indflydelse blive stadig tyndere. Det er de spørgsmål, jeg har undersøgt i min forskning og min nye bog om algoritmisk tænkning.
Mystiske lag af 'ukendelighed'
At se tilbage på historien om neurale netværk fortæller os noget vigtigt om de automatiserede beslutninger, der definerer vores nutid, eller dem, der muligvis vil have en mere dybtgående indflydelse i fremtiden. Deres tilstedeværelse fortæller os også, at vi sandsynligvis vil forstå beslutningerne og virkningerne af AI endnu mindre over tid. Disse systemer er ikke bare sorte bokse, de er ikke bare skjulte dele af et system, der ikke kan ses eller forstås.
Det er noget andet, noget der er forankret i målene og designet af disse systemer selv. Der er en langvarig jagt på det uforklarlige. Jo mere uigennemsigtigt, jo mere autentisk og avanceret menes systemet at være. Det handler ikke kun om, at systemerne bliver mere komplekse, eller at kontrollen med intellektuel ejendom begrænser adgangen (selvom disse er en del af det). Det er i stedet for at sige, at den etos, der driver dem, har en særlig og indlejret interesse for "ukendelighed". Mysteriet er endda kodet ind i selve det neurale netværks form og diskurs. De kommer med dybt stablede lag - deraf udtrykket deep learning - og inden for disse dybder er de endnu mere mystisk klingende "skjulte lag". Mysterierne i disse systemer er dybt under overfladen.
Der er en god chance for, at jo større indflydelse kunstig intelligens kommer til at have i vores liv, jo mindre vil vi forstå hvordan eller hvorfor. I dag er der et stærkt skub til AI, som kan forklares. Vi vil gerne vide, hvordan det fungerer, og hvordan det når frem til beslutninger og resultater. EU er så bekymret over de potentielt "uacceptable risici" og endda "farlige" ansøgninger, at det i øjeblikket er ved at fremme en ny AI-lov beregnet til at sætte en "global standard" for "udvikling af sikker, troværdig og etisk kunstig intelligens".
Disse nye love vil være baseret på et behov for forklaring, kræver det "For højrisiko AI-systemer er kravene til højkvalitetsdata, dokumentation og sporbarhed, gennemsigtighed, menneskeligt tilsyn, nøjagtighed og robusthed strengt nødvendige for at afbøde de risici for grundlæggende rettigheder og sikkerhed, som AI udgør." Dette handler ikke kun om ting som selvkørende biler (selvom systemer, der sikrer sikkerhed falder ind under EU's kategori af højrisiko AI), det er også en bekymring for, at der i fremtiden vil dukke systemer op, som vil få betydning for menneskerettighederne.
Dette er en del af bredere krav om gennemsigtighed i AI, så dets aktiviteter kan kontrolleres, revideres og vurderes. Et andet eksempel ville være Royal Society's policy briefing om forklarlig AI hvor de påpeger, at "politiske debatter over hele verden i stigende grad ser opfordringer til en form for AI-forklarlighed, som en del af bestræbelserne på at indlejre etiske principper i design og implementering af AI-aktiverede systemer".
Men historien om neurale netværk fortæller os, at vi sandsynligvis vil komme længere væk fra dette mål i fremtiden, snarere end tættere på det.
Inspireret af den menneskelige hjerne
Disse neurale netværk kan være komplekse systemer, men de har nogle kerneprincipper. Inspireret af den menneskelige hjerne søger de at kopiere eller simulere former for biologisk og menneskelig tænkning. Struktur- og designmæssigt er de, som IBM forklarer også, bestående af "nodelag, der indeholder et inputlag, et eller flere skjulte lag og et outputlag". Inden for dette forbinder "hver knude eller kunstig neuron til en anden". Fordi de kræver input og information for at skabe output, er de "afhængige af træningsdata for at lære og forbedre deres nøjagtighed over tid". Disse tekniske detaljer betyder noget, men det gør også ønsket om at modellere disse systemer efter kompleksiteten i den menneskelige hjerne.
At forstå ambitionen bag disse systemer er afgørende for at forstå, hvad disse tekniske detaljer er kommet til at betyde i praksis. I en 1993 interview, den neurale netværksforsker Teuvo Kohonen konkluderede, at et "selvorganiserende" system "er min drøm", der fungerer "noget i stil med det, vores nervesystem gør instinktivt". Som et eksempel forestillede Kohonen sig, hvordan et "selvorganiserende" system, et system, der overvågede og styrede sig selv, "kunne bruges som et overvågningspanel for enhver maskine … i ethvert fly, jetfly eller ethvert atomkraftværk eller hver bil". Dette, mente han, ville betyde, at man i fremtiden "med det samme kunne se, hvilken stand systemet er i".
Det overordnede mål var at have et system, der kunne tilpasse sig sine omgivelser. Det ville være øjeblikkeligt og autonomt og fungere i stil med nervesystemet. Det var drømmen, at have systemer, der kunne klare sig selv uden behov for megen menneskelig indgriben. Hjernens, nervesystemets og den virkelige verdens kompleksitet og ubekendte ville snart komme til at informere udviklingen og designet af neurale netværk.
'Der er noget skumt ved det'
Men hopper vi tilbage til 1956 og den mærkelige læremaskine, var det den praktiske tilgang, som Taylor havde taget, da han byggede den, der straks fangede Cowans opmærksomhed. Han havde tydeligvis svedt over samlingen af stumperne. Taylor, Cowan observerede under et interview fra hans egen side i historien om disse systemer, "gjorde det ikke i teorien, og han gjorde det ikke på en computer". I stedet, med værktøjer i hånden, "byggede han faktisk hardwaren". Det var en materiel ting, en kombination af dele, måske endda en ting. Og det var "alt gjort med analoge kredsløb", der tog Taylor, bemærker Cowan, "adskillige år at bygge det og lege med det". Et tilfælde af forsøg og fejl.
Cowan ville forståeligt nok have fat i det, han så. Han forsøgte at få Taylor til at forklare denne læremaskine for ham. Afklaringerne kom ikke. Cowan kunne ikke få Taylor til at beskrive for ham, hvordan tingene fungerede. De analoge neuroner forblev et mysterium. Det mere overraskende problem, mente Cowan, var, at Taylor "ikke rigtig selv forstod, hvad der foregik". Dette var ikke bare et kortvarigt sammenbrud i kommunikationen mellem de to videnskabsmænd med forskellige specialer, det var mere end det.
I en interview fra midten af 1990'erne, når han tænker tilbage på Taylors maskine, afslørede Cowan, at "til denne dag i offentliggjorte papirer kan du ikke helt forstå, hvordan det fungerer". Denne konklusion antyder, hvordan det ukendte er dybt indlejret i neurale netværk. Uforklarligheden af disse neurale systemer har været til stede selv fra de grundlæggende og udviklingsmæssige stadier, der går tilbage næsten syv årtier.
Dette mysterium forbliver i dag og er at finde inden for avancerede former for AI. Den uudgrundelige funktion af associationerne lavet af Taylors maskine fik Cowan til at spekulere på, om der var "noget uhyggeligt over det".
Lange og sammenfiltrede rødder
Cowan henviste tilbage til hans korte besøg hos Taylor, da han blev spurgt om modtagelsen af hans eget arbejde nogle år senere. Ind i 1960'erne var folk, reflekterede Cowan, "lidt langsomme til at se meningen med et analogt neuralt netværk". Dette var på trods af, husker Cowan, at Taylors 1950'er arbejde med "associativ hukommelse" var baseret på "analoge neuroner". Den nobelprisvindende ekspert i neurale systemer, Leon N. Cooper, konkluderede at udviklingen omkring anvendelsen af hjernemodellen i 1960'erne, blev betragtet som "som blandt de dybe mysterier". På grund af denne usikkerhed var der fortsat en skepsis over for, hvad et neuralt netværk kunne opnå. Men tingene begyndte langsomt at ændre sig.
For omkring 30 år siden neurovidenskabsmanden Walter J. Freeman, der blev overrasket over "bemærkelsesværdig” række applikationer, der var blevet fundet til neurale netværk, kommenterede allerede det faktum, at han ikke så dem som “en fundamentalt ny slags maskine”. De var en langsom forbrænding, hvor teknologien kom først, og derefter blev der fundet efterfølgende applikationer til den. Dette tog tid. For at finde rødderne til neural netværksteknologi kan vi faktisk gå endnu længere tilbage end Cowans besøg på Taylors mystiske maskine.
Neuralnet-forskeren James Anderson og videnskabsjournalisten Edward Rosenfeld har bemærket at baggrunden for neurale netværk går tilbage til 1940'erne og nogle tidlige forsøg på, som de beskriver, "forstå de menneskelige nervesystemer og at bygge kunstige systemer, der i det mindste en lille smule opfører sig, som vi gør". Og så blev mysterierne i det menneskelige nervesystem i 1940'erne også til mysterierne om beregningstænkning og kunstig intelligens.
Opsummerer denne lange historie, datalogi forfatter Larry Hardesty har påpeget at dyb læring i form af neurale netværk "er gået ind og ud af mode i mere end 70 år". Mere specifikt tilføjer han, at disse "neurale netværk blev først foreslået i 1944 af Warren McCulloch og Walter Pitts, to forskere fra University of Chicago, der flyttede til MIT i 1952 som stiftende medlemmer af det, der nogle gange kaldes den første kognitive videnskabsafdeling".
Andre steder, 1943 er nogle gange den givne dato som det første år for teknologien. Uanset hvad, tyder beretninger i omkring 70 år på, at neurale netværk har bevæget sig ind og ud af mode, ofte forsømt, men nogle gange taget fat og bevæget sig ind i mere almindelige applikationer og debatter. Uvisheden varede ved. Disse tidlige udviklere beskriver ofte vigtigheden af deres forskning som værende overset, indtil den fandt sit formål ofte år og nogle gange årtier senere.
Fra 1960'erne til slutningen af 1970'erne kan vi finde yderligere historier om disse systemers ukendte egenskaber. Selv dengang, efter tre årtier, var det neurale netværk stadig til at finde en følelse af formål. David Rumelhart, som havde en baggrund i psykologi og var medforfatter til et sæt bøger udgivet i 1986, som senere ville føre opmærksomheden tilbage mod neurale netværk, fandt sig selv i at samarbejde om udviklingen af neurale netværk med sin kollega Jay McClelland.
Ud over at være kolleger havde de også for nylig mødt hinanden på en konference i Minnesota, hvor Rumelharts tale om "historieforståelse" havde fremkaldt en del diskussion blandt de delegerede.
Efter den konference vendte McClelland tilbage med en tanke om, hvordan man udvikler et neuralt netværk, der kunne kombinere modeller for at være mere interaktive. Det der betyder noget her er Rumelharts erindring af "timerne og timerne og timerne med at pille ved computeren".
Vi satte os ned og lavede alt dette i computeren og byggede disse computermodeller, og vi forstod dem bare ikke. Vi forstod ikke, hvorfor de arbejdede eller hvorfor de ikke virkede, eller hvad der var kritisk ved dem.
Ligesom Taylor fandt Rumelhart ud af at pille ved systemet. De skabte også et fungerende neuralt netværk, og afgørende var de heller ikke sikre på, hvordan eller hvorfor det fungerede på den måde, som det gjorde, idet de tilsyneladende lærte af data og fandt sammenhænge.
Efterligning af hjernen - lag efter lag
Du har måske allerede bemærket, at når vi diskuterer oprindelsen af neurale netværk, er billedet af hjernen og den kompleksitet, dette fremkalder, aldrig langt væk. Den menneskelige hjerne fungerede som en slags skabelon for disse systemer. I de tidlige stadier blev især hjernen – stadig en af de store ukendte – en model for, hvordan det neurale netværk kunne fungere.
Så disse eksperimentelle nye systemer blev modelleret efter noget, hvis funktion i sig selv stort set var ukendt. Neurocomputeringeniøren Carver Mead har talt afslørende af forestillingen om et "kognitivt isbjerg", som han havde fundet særligt tiltalende. Det er kun toppen af bevidsthedens isbjerg, som vi er opmærksomme på, og som er synlige. Restens skala og form forbliver ukendt under overfladen.
I 1998, blev James Anderson, som havde arbejdet i nogen tid på neurale netværk, bemærkede, at når det kom til forskning i hjernen, "synes vores største opdagelse at være en bevidsthed om, at vi virkelig ikke ved, hvad der foregår".
I en detaljeret redegørelse i Financial Times i 2018, bemærkede teknologijournalisten Richard Waters, hvordan neurale netværk "er modelleret på en teori om, hvordan den menneskelige hjerne fungerer, og sender data gennem lag af kunstige neuroner, indtil et identificerbart mønster opstår". Dette skaber et knock-on problem, foreslog Waters, da "i modsætning til de logiske kredsløb, der anvendes i et traditionelt softwareprogram, er der ingen måde at spore denne proces for at identificere præcis, hvorfor en computer kommer med et bestemt svar". Waters' konklusion er, at disse resultater ikke kan ophæves. Anvendelsen af denne type hjernemodel, der tager data gennem mange lag, betyder, at svaret ikke uden videre kan spores. Den multiple lagdeling er en god del af årsagen til dette.
Hårdhed også observeret, at disse systemer er "løst modelleret på den menneskelige hjerne". Dette medfører en iver efter at indbygge stadig mere behandlingskompleksitet for at forsøge at matche hjernen. Resultatet af dette mål er et neuralt net, der "består af tusinder eller endda millioner af simple behandlingsknuder, der er tæt forbundet". Data bevæger sig gennem disse noder i kun én retning. Hardesty bemærkede, at en "individuel node kan være forbundet til flere noder i laget under den, hvorfra den modtager data, og flere noder i laget over den, som den sender data til".
Modeller af den menneskelige hjerne var en del af, hvordan disse neurale netværk blev udtænkt og designet fra begyndelsen. Dette er især interessant, når vi tænker på, at hjernen i sig selv var et mysterium for tiden (og på mange måder stadig er det).
'Tilpasning er hele spillet'
Forskere som Mead og Kohonen ønskede at skabe et system, der virkelig kunne tilpasse sig den verden, det befandt sig i. Det ville reagere på sine betingelser. Mead var klar over, at værdien i neurale netværk var, at de kunne lette denne type tilpasning. På det tidspunkt og reflekterer over denne ambition, Mjød tilføjet at producere tilpasning "er hele spillet". Denne tilpasning er nødvendig, mente han, "på grund af den virkelige verdens natur", som han konkluderede er "for variabel til at gøre noget absolut".
Dette problem skulle man tage højde for, især da han mente, det var noget "nervesystemet har fundet ud af for længe siden". Ikke kun arbejdede disse innovatører med et billede af hjernen og dens ukendte, de kombinerede dette med en vision om den "virkelige verden" og de usikkerheder, ubekendte og variabilitet, som dette medfører. Systemerne, mente Mead, skulle være i stand til at reagere og tilpasse sig omstændighederne uden instruktion.
Omtrent på samme tid i 1990'erne, Stephen Grossberg – en ekspert i kognitive systemer, der arbejder på tværs af matematik, psykologi og biomedicinsk teknik – argumenterede også for det tilpasning ville blive det vigtige skridt på længere sigt. Grossberg, da han arbejdede væk med neurale netværksmodellering, tænkte ved sig selv, at det hele handler "om, hvordan biologiske måle- og kontrolsystemer er designet til at tilpasse sig hurtigt og stabilt i realtid til en hurtigt svingende verden". Som vi så tidligere med Kohonens "drøm" om et "selvorganiserende" system, bliver en forestilling om den "virkelige verden" den kontekst, hvor respons og tilpasning bliver kodet ind i disse systemer. Hvordan den virkelige verden forstås og forestilles, former utvivlsomt, hvordan disse systemer er designet til at tilpasse sig.
Skjulte lag
Efterhånden som lagene blev mangedoblede, lod dyb læring nye dybder. Det neurale netværk trænes ved hjælp af træningsdata, der, Hardesty forklaret, "fødes til bundlaget - inputlaget - og det passerer gennem de efterfølgende lag, bliver multipliceret og lagt sammen på komplekse måder, indtil det endelig ankommer, radikalt transformeret, til outputlaget". Jo flere lag, jo større transformation og jo større afstand fra input til output. Udviklingen af Graphics Processing Units (GPU'er), f.eks. inden for spil, tilføjede Hardesty, "aktiverede et-lags-netværkene i 1960'erne og 1980'ernes to til tre-lags-netværk til at blomstre til de ti, 15 eller endda 50 -lags netværk af i dag”.
Neurale netværk bliver dybere. Faktisk er det denne tilføjelse af lag, ifølge Hardesty, der er "det 'dybe' i 'dyb læring' refererer til". Dette har betydning, foreslår han, fordi "i øjeblikket er deep learning ansvarlig for de bedst ydende systemer inden for næsten alle områder af kunstig intelligensforskning".
Men mysteriet bliver endnu dybere. Efterhånden som lagene af neurale netværk er blevet større, er deres kompleksitet vokset. Det har også ført til væksten i, hvad der omtales som "skjulte lag" inden for disse dybder. Diskussionen om det optimale antal skjulte lag i et neuralt netværk er i gang. Medieteoretikeren Beatrice Fazi har skrevet at "på grund af hvordan et dybt neuralt netværk fungerer, der er afhængigt af skjulte neurale lag, der er klemt mellem det første lag af neuroner (inputlaget) og det sidste lag (outputlaget), er deep-learning-teknikker ofte uigennemsigtige eller ulæselige selv for programmører, der oprindeligt satte dem op”.
Efterhånden som lagene øges (inklusive de skjulte lag), bliver de endnu mindre forklarelige – selv, som det viser sig, igen, for dem, der skaber dem. En lignende pointe, den fremtrædende og tværfaglige nye medie-tænker Katherine Hayles bemærkede også at der er grænser for "hvor meget vi kan vide om systemet, et resultat, der er relevant for det 'skjulte lag' i neurale net og deep learning algoritmer".
Forfølger det uforklarlige
Tilsammen er disse lange udviklinger en del af teknologisociologen Taina Bucher har kaldt "det ukendtes problematik". Udvider sin indflydelsesrige forskning om videnskabelig viden til området AI, Harry Collins har påpeget det formålet med neurale net er, at de kan være produceret af et menneske, i det mindste i begyndelsen, men "når programmet først er skrevet lever det sit eget liv, som det var; uden stor indsats, præcis hvordan programmet fungerer, kan forblive mystisk”. Dette har ekkoer af de langvarige drømme om et selvorganiserende system.
Jeg vil tilføje, at det ukendte og måske endda det ukendte er blevet forfulgt som en grundlæggende del af disse systemer fra deres tidligste stadier. Der er en god chance for, at jo større indflydelse kunstig intelligens kommer til at have i vores liv, jo mindre vil vi forstå hvordan eller hvorfor.
Men det falder ikke rigtig mange i dag. Vi vil gerne vide, hvordan AI fungerer, og hvordan den når frem til de beslutninger og resultater, der påvirker os. Efterhånden som udviklingen inden for kunstig intelligens fortsætter med at forme vores viden og forståelse af verden, hvad vi opdager, hvordan vi bliver behandlet, hvordan vi lærer, forbruger og interagerer, vil denne impuls til at forstå vokse. Når det kommer til forklarlig og gennemsigtig AI, fortæller historien om neurale netværk os, at vi sandsynligvis vil komme længere væk fra dette mål i fremtiden i stedet for tættere på det.
David Beer, Professor i sociologi, University of York
Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs oprindelige artikel.
