AI-chatbots er allerede meget brugt af virksomheder til at hilse på kunder og besvare deres spørgsmål – enten over telefonen eller på hjemmesider. Nogle virksomheder har fundet ud af, at de til en vis grad kan erstatte mennesker med maskiner i callcenter-roller.
Den tilgængelige dokumentation tyder dog på, at der er sektorer - såsom sundhedspleje og menneskelige ressourcer - hvor der skal udvises ekstrem forsigtighed med hensyn til brugen af disse frontlinjeværktøjer, og etisk tilsyn kan være nødvendigt.
Et nyligt og meget publiceret eksempel er et chatbot kaldet Tessa, som blev brugt af National Eating Disorder Association (NEDA) i USA. Organisationen havde oprindeligt opretholdt en hjælpelinje drevet af en kombination af funktionærer og frivillige. Dette havde det udtrykkelige mål at hjælpe udsatte mennesker, der lider af spiseforstyrrelser.
Men i år har organisationen opløste sin hjælpelinje, der annoncerer, at det ville erstatte dem med Tessa chatbot. Årsagerne hertil er omstridte. Tidligere arbejdere hævder, at skiftet fulgte en beslutning truffet af hjælpelinjens personale om at blive fagforening. Det vicepræsident for NEDA citeret et øget antal opkald og ventetider, samt juridiske forpligtelser omkring brug af frivilligt personale.
Uanset hvad der er tilfældet, blev Tessa efter en meget kort driftsperiode taget offline på grund af rapporter om, at chatbotten havde udstedt problematiske råd, der kunne have forværret symptomerne på folk, der søger hjælp til spiseforstyrrelser.
Det blev også rapporteret Dr. Ellen Fitzsimmons-Craft og Dr. C Barr Taylor, to højt kvalificerede forskere, der hjalp med skabelsen af Tessa, havde forudsat, at chatbotten aldrig var tænkt som en erstatning for en eksisterende hjælpelinje eller for at give øjeblikkelig hjælp til dem, der oplever intense spiseforstyrrelsessymptomer.
Betydelig opgradering
Så hvad var Tessa designet til? Forskerne havde sammen med kolleger genereret en observationsundersøgelse fremhæver de udfordringer, de stod over for ved at designe en regelbaseret chatbot til at interagere med brugere, der er bekymrede over spiseforstyrrelser. Det er ret fascinerende læsning, der illustrerer designvalg, operationer, faldgruber og ændringer.
Den originale version af Tessa var en traditionel, regelbaseret chatbot, omend en meget raffineret, som er en, der følger en foruddefineret struktur baseret på logik. Det kunne ikke afvige fra de standardiserede forprogrammerede svar, der blev kalibreret af dets skabere.
Deres konklusion indeholdt følgende punkt: "Regelbaserede chatbots har potentiale til at nå ud til store populationer til lave omkostninger ved at levere information og enkle interaktioner, men er begrænset i at forstå og reagere korrekt på uventede brugersvar".
Dette kan synes at begrænse de anvendelser, som Tessa var egnet til. Så hvordan endte det med at erstatte den hjælpelinje, som NEDA tidligere brugte? Den nøjagtige kæde af begivenheder er under diskussion midt i forskellige konti, men ifølge NPR ændrede chatbot-hostingfirmaet Tessa fra en regelbaseret chatbot med forudprogrammerede svar til en med en "forbedret spørgsmål og svar funktion".
Den senere version af Tessa var en, der brugte generativ kunstig intelligens, ligesom ChatGPT og lignende produkter. Disse avancerede AI-chatbots er designet til at simulere menneskelige samtalemønstre med den hensigt at give mere realistiske og nyttige svar. Generering af disse tilpassede svar er afhængig af store databaser med information, som AI-modellerne er trænet til at "forstå" gennem en række teknologiske processer: machine learning, dyb læring , naturlig sprogbehandling.
Læring lektioner
I sidste ende genererede chatbotten, hvad der er blevet beskrevet som potentielt skadelige svar på nogle brugeres spørgsmål. De efterfølgende diskussioner har flyttet skylden fra en institution til en anden. Pointen er dog stadig, at de efterfølgende omstændigheder potentielt kunne have været undgået, hvis der havde været et organ, der leverede etisk tilsyn, et "menneske i løkken" og en overholdelse af det klare formål med Tessas originale design.
Det er vigtigt at lære af sager som dette på baggrund af et hastværk mod integration af AI i en række forskellige systemer. Og selvom disse begivenheder fandt sted i USA, indeholder de lektioner for dem, der søger at gøre det samme i andre lande.
Det Forenede Kongerige ser ud til at have en noget fragmenteret tilgang til dette spørgsmål. Advisory board til Center for Dataetik og Innovation (CDEI) blev for nylig opløst og dens plads ved bordet blev overtaget af den nyoprettede Frontier AI Taskforce. Der er også rapporter om, at AI-systemer allerede afprøves i London som værktøjer til at hjælpe arbejdstagere - dog ikke som en erstatning for en hjælpelinje.
Begge disse eksempler fremhæver en potentiel spænding mellem etiske overvejelser og forretningsinteresser. Vi må håbe, at de to i sidste ende vil harmonere og balancere individers velbefindende med den effektivitet og fordele, som AI kunne give.
Men i nogle områder, hvor organisationer interagerer med offentligheden, vil AI-genererede svar og simuleret empati måske aldrig være nok til at erstatte ægte menneskelighed og medfølelse – især inden for områderne medicin og mental sundhed.
Mark Tsagas, Lektor, Strafferet, University of East London
Denne artikel er genudgivet fra The Conversation under en Creative Commons-licens. Læs oprindelige artikel.
