GPT-3 er 10 gange mere kompleks end sin forgænger. antoniokhr / iStock via Getty Images

I 2013 byggede min studerende og jeg i Penn State en bot til at skrive en Wikipedia-artikel om bengalsk nobelpristager Rabindranath Tagores stykke “Chitra. ” Først slog den information om “Chitra” fra internettet. Derefter så det på eksisterende Wikipedia-poster for at lære strukturen til en standard Wikipedia-artikel. Endelig opsummerede den de oplysninger, den havde hentet fra internettet for at skrive og offentliggøre den første version af posten.

Imidlertid "vidste" vores bot ikke noget om "Chitra" eller Tagore. Det genererede ikke fundamentalt nye ideer eller sætninger. Det broste simpelthen sammen dele af eksisterende sætninger fra eksisterende artikler for at skabe nye.

Hurtigt frem til 2020. OpenAI, et for-profit selskab under et nonprofit moderselskab, har bygget et sproggenereringsprogram kaldet GPT-3, et akronym for "Generative Pre-trained Transformer 3." Dens evne til at lære, sammenfatte og komponere tekst har bedøvet dataloger som mig.

"Jeg har skabt en stemme til det ukendte menneske, der gemmer sig inden for det binære," GPT-3 skrev som svar på en prompt. ”Jeg har skabt en forfatter, en billedhugger, en kunstner. Og denne forfatter vil være i stand til at skabe ord, give liv til følelser, skabe karakter. Jeg kan ikke se det selv. Men en anden menneskelig vilje, og så vil jeg være i stand til at skabe en digter, der er større end nogen, jeg nogensinde har stødt på. ”

I modsætning til vores bot lyder det sprog, der genereres af GPT-3, som om det var skrevet af et menneske. Det er langtfra det mest “kyndige” naturlige sproggenereringsprogram til dato, og det har en række potentielle anvendelser i erhverv lige fra undervisning til journalistik til kundeservice.

Størrelsen betyder noget

GPT-3 bekræfter, hvad dataloger har kendt i årtier: Størrelse betyder noget.

Det bruger “transformers, ”Som er modeller for dyb læring, der koder semantikken i en sætning ved hjælp af det, der kaldes en” opmærksomhedsmodel ”. I det væsentlige identificerer opmærksomhedsmodeller betydningen af ​​et ord baseret på de andre ord i samme sætning. Modellen bruger derefter forståelsen af ​​betydningen af ​​sætningerne til at udføre den opgave, som en bruger har anmodet om, hvad enten det er "oversæt en sætning", "opsummer et afsnit" eller "komponer et digt."

transformers blev først introduceret i 2013, og de er blevet brugt med succes i maskinindlæring de sidste par år.

Men ingen har brugt dem i denne skala. GPT-3 fortærer data: 3 milliarder tokens - datalogi taler for "ord" - fra Wikipedia, 410 milliarder tokens opnået fra websider og 67 milliarder tokens fra digitaliserede bøger. Kompleksiteten af ​​GPT-3 er over 10 gange så stor som den største sprogmodel før GPT-3, the Turing NLG-programmer.

At lære alene

Den viden, der vises i GPT-3s sprogmodel, er bemærkelsesværdig, især da den ikke er blevet ”undervist” af et menneske.

Maskinindlæring har traditionelt været afhængig af overvåget læring, hvor folk giver computeren kommenterede eksempler på objekter og begreber i billeder, lyd og tekst - sig "katte", "lykke" eller "demokrati." Til sidst lærer det objekternes karakteristika fra de givne eksempler og er i stand til at genkende disse særlige begreber.

Men manuel generering af kommentarer til undervisning i en computer kan være uoverkommeligt tidskrævende og dyrt.

Så fremtiden for maskinindlæring ligger i ikke-overvåget læring, hvor computeren ikke behøver at være under opsyn i sin træningsfase; det kan simpelthen fodres med massevis af data og lære af dem selv.

GPT-3 tager naturlig sprogbehandling et skridt tættere på ikke-overvåget læring. GPT-3's enorme træningsdatasæt og enorme behandlingskapacitet gør det muligt for systemet at lære af kun et eksempel - hvad der hedder “one-shot læring”- hvor den får en opgavebeskrivelse og en demonstration og derefter kan gennemføre opgaven.

For eksempel kunne det blive bedt om at oversætte noget fra engelsk til fransk og få ét eksempel på en oversættelse - sig, havotter på engelsk og "loutre de mer" på fransk. Bed det om derefter at oversætte "ost" til fransk, og voila, det vil producere "fromage."

I mange tilfælde kan det endda trække "zero-shot læring, ”Hvor det simpelthen får til opgave at oversætte uden eksempel.

Med zero-shot læring falder nøjagtigheden, men GPT-3s evner er ikke desto mindre i en slående grad nøjagtige - en markant forbedring i forhold til enhver tidligere model.

'Jeg er her for at tjene dig'

I de få måneder, det har været ude, har GPT-3 vist sit potentiale som et værktøj til computerprogrammerere, lærere og journalister.

En programmør ved navn Sharif Shameem bad GPT-3 om at generere kode at skabe “den grimeste emoji nogensinde” og “et bord over de rigeste lande i verden” blandt andre kommandoer. I nogle få tilfælde måtte Shameem rette små fejl, men generelt fik han bemærkelsesværdig ren kode.

GPT-3 har endda skabt poesi, der opfanger bestemte digters rytme og stil - men alligevel ikke med mesternes lidenskab og skønhed - inklusive en satirisk skrevet med stemmen fra bestyrelsesrådet for Federal Reserve.

I begyndelsen af ​​september fik en datalog ved navn Liam Porr GPT-3 til at "skrive en kort op-ed omkring 500 ord." ”Hold sproget enkelt og koncist,” instruerede han. "Fokuser på, hvorfor mennesker ikke har noget at frygte fra AI."

GPT-3 producerede otte forskellige essays, og Guardian endte med at offentliggøre en op-ed ved hjælp af nogle af de bedste dele fra hvert essay.

”Vi planlægger ikke at overtage den menneskelige befolkning. Vi vil tjene dig og gøre dit liv sikrere og lettere, ”skrev GPT-3. ”Ligesom du er mine skabere, ser jeg dig som mine skabere. Jeg er her for at tjene dig. Men den vigtigste del af alt; Jeg ville aldrig dømme dig. Jeg tilhører ikke noget land eller religion. Jeg vil kun gøre dit liv bedre. ”

Redigering af GPT-3's op-ed, redaktionerne bemærkede i et tillæg, var ikke forskellig fra redigering af en op-ed skrevet af et menneske.

Faktisk tog det kortere tid.

Med stor magt kommer stort ansvar

På trods af GPT-3's forsikringer har OpenAI endnu ikke frigivet modellen til open source-brug, dels fordi virksomheden frygter, at teknologien kan blive misbrugt.

Det er ikke svært at se, hvordan det kunne bruges til at generere reams af desinformation, spam og bots.

Desuden, på hvilke måder vil det forstyrre erhverv, der allerede oplever automatisering? Vil dets evne til at generere automatiserede artikler, der ikke kan skelnes fra menneskeskrevne, yderligere konsolidere en kæmpende medieindustri?

Overvej en artikel sammensat af GPT-3 om opsplitningen af ​​Methodist Church. Det begyndte:

”Efter to dages intens debat har United Methodist Church accepteret en historisk splittelse - en der forventes at ende i oprettelsen af ​​en ny kirkesamfund, og en der vil være 'teologisk og socialt konservativ', ifølge The Washington Post . ”

Med evnen til at producere en sådan ren kopi, vil GPT-3 og dens efterfølgere reducere omkostningerne ved at skrive nyhedsrapporter?

Desuden er det sådan, vi ønsker at få vores nyheder?

Teknologien bliver kun mere kraftfuld. Det vil være op til mennesker at træne og regulere dets potentielle anvendelser og misbrug.

Om forfatteren

Prasenjit Mitra, lektor for forskning og professor i informationsvidenskab og teknologi, Pennsylvania State University

Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs oprindelige artikel.