Eksperter fik det katastrofalt forkert, ifølge Dominic Cummings, britiske premierminister Boris Johnsons tidligere chefrådgiver. Cummings har argumenteret at den britiske regerings officielle videnskabelige råd i marts 2020 misforståede enormt, hvordan pandemien ville spille ud, hvilket førte til en forsinkelse i låsning, der kostede tusinder af menneskeliv.

Ifølge Cummings var det visse specialister med mindre kendskab til pandemier eller medicin - som dataforsker Ben Warner, kunstig intelligensforsker Demis Hassabis fra DeepMind og matematiker Tim Gowers - der gav mere nøjagtige prognoser på dette tidspunkt.

Cummings er også kendt for at være en ventilator of Superprognoser af Philip Tetlock, en bog om mennesker, der forudsiger fremtidige begivenheder mere pålideligt end de fleste. Nogle superforecastere er blevet rost for deres forudsigelser om pandemien, mens andre også har været kritisk over for eksperternes optage.

Så burde regeringer gøre større brug af superforecasters i stedet for at stole på videnskabelige eksperter? Bevisene er ikke helt så klare. Men der synes bestemt at være ting, som regeringer kunne lære af superforecasting.

I en berømte amerikanske undersøgelse på superforecasters, der blev offentliggjort i 2014, var de en elite besætning. Kun de øverste 2% af deltagerne klarede sig godt nok i en geopolitisk prognoseturnering til at vinde titlen. Deres opgave var at tildele sandsynligheder til mulige svar på snesevis af spørgsmål.

Forskerne giver et par illustrative eksempler. Hvem ville være Ruslands præsident i 2012? Vil Nordkorea detonere et andet atomvåben i de næste tre måneder? Hvor mange flygtninge flygter Syrien næste år?

Selvfølgelig, bare fordi nogen klarer sig godt et år, beviser det ikke, at de er dygtigere end nogen anden. Måske blev de bare heldige. Vi er nødt til at se på, hvor godt de klarede sig i de følgende år for at evaluere, hvor ”super” de virkelig er.

Imponerende bevarede disse superforecastere deres kant, da turneringen fortsatte i yderligere tre år. Efter at være blevet kombineret til "superforecasting-hold", der kun indeholdt andre top-performere, steg deres præstationer faktisk med en betydelig margin. Forskerne fandt også, at arbejde i teams og tage relevant træning forbedrede ydeevnen for andre prognosemagere sammenlignet med prognosemænd i en kontroltilstand.

Hold og træning

Uanset om vi tager Cummings med hans ord om, at Storbritanniens pandemiplanlægning led af en "klassisk gruppetænkeboble", ved vi, at hold ikke altid tager kloge beslutninger. Hvad var det, der gjorde holdene mere succesrige i den amerikanske undersøgelse?

Det er svært at sige med sikkerhed, men forskerne opfordrede specifikt holdene til at stille præcise spørgsmål for at tilskynde klarere tænkning om bevismateriale, der understøtter en bestemt prognose, til at "lede efter beviser, der modsiger din nuværende forudsigelse" og til konstruktivt at indføre alternative synspunkter. .

En sådan debat kan meget vel forbedre den kollektive vurdering , vær opmærksom på gruppetænkning. Teammedlemmer var heller ikke forpligtet til at nå til enighed. Selvom de delte information og meninger, lavede de stadig individuelle forudsigelser, som blev kombineret med algoritme. Specielt superforecaster-hold var stærkt engageretdeler ofte information med og stiller spørgsmål til andre teammedlemmer.

En anden undersøgelse kiggede nærmere på, hvilke specifikke træningsteknikker der syntes at hjælpe mest. Tre teknikker var især forbundet med højere nøjagtighed. Den første var brugen af ​​såkaldte sammenligningsklasser.

Hvis jeg for eksempel forsøger at forudsige sandsynligheden for, at Benedict Cumberbatch og Sophie Hunter stadig vil være sammen om fem år, kan det være nyttigt at tænke på andre "klasser", der er relevante - for eksempel klassen af ​​berømthedsægteskaber eller endda ægteskaber generelt. Dette giver mig mulighed for at se på historien for at informere mine forudsigelser: Hvor stor en procentdel af berømthedsægteskaber ender i en given femårsperiode?

Det andet var at gøre brug af matematiske og statistiske modeller, når de var tilgængelige, for at hjælpe med at informere ens synspunkter. Den tredje var at "vælge de rigtige spørgsmål" - en anbefaling om at bruge mere tid på at forudsige svar på spørgsmål, hvor du ved mere end andre om emnet, eller som yderligere forskning sandsynligvis vil betale sig. Forskerne understregede dog, at alle komponenter i træningen kan have bidraget holistisk til bedre ydeevne.

Forskning har også vist det nøjagtigheden forbedres, når vi holder styr på vores tidligere præstationer - men den slags feedback betyder noget. Skete resultater, du troede ville ske 20% af tiden, faktisk 20% af tiden? Hvad med resultater, du troede, ville ske 90% af tiden? Ydeevnen forbedres for dem, der modtager denne form for information.

Kan regeringer gøre det bedre?

Kunne den britiske regering have gjort det bedre på COVID-19 ved at bede om input fra hold af superforecasters? Er det muligt. Superforecasters kl God dom åben og praktiserede prognoser ved Metaculus (som jeg har deltaget i) ser ud til at have klaret sig godt på COVID-19, hvor Metaculus hævder at have udkonkurrerede eksperter i juni 2020. Når det er sagt, i en nyere serie af COVID-19-relaterede forudsigelser var uddannede prognoser ikke altid mere nøjagtige end eksperter. Forskerne bag undersøgelsen eksperimenterer med måder at kombinere forudsigelser fra domæneeksperter og uddannede prognoser til en "konsensusprognose".

Det synes også plausibelt, at selv den træning, der hjalp de ikke-supers med at lave bedre prognoser, ville have været nyttig. For eksempel hævdede Cummings, at selvom der var meget opmærksomhed på epidemiologiske modeller, blev bevis, der modsagde modellernes antagelser - såsom data rapporteret af intensivafdelinger - ignoreret. Det virker bestemt plausibelt, at nogen, der er uddannet til at "lede efter beviser, der modsiger din nuværende forudsigelse" måske har set dette tidligere.

Selvfølgelig er ikke alle anbefalinger fra litteraturen praktiske i regeringsindstillinger. I teorien kunne regeringer teste sådanne anbefalinger for sig selv og vedtage enhver, der syntes gavnlig. Desværre kan du ikke forbedre det, du ikke måler.

In Superprognoser, Tetlock understreger, at enhver organisation, der er seriøs med at forbedre sine prognoser, skal knytte konkrete tal til dem, i det mindste internt. En sætning som "alvorlig mulighed" kan betyde en 20% chance for en person og en 80% chance for en anden.

Dette er næsten helt sikkert hvad Cummings henviste til da han sagde: "En fyr ved navn Phil Tetlock skrev en bog, og i den bog sagde han, at du ikke skulle bruge ord som rimelige og sandsynlige og sandsynlige, fordi det forvirrer alle." Måske skulle det ikke overraske os, hvis organisationer, der ikke laver prognoser på en måde, som de kan evalueres, ikke er udstyret til at lære at gøre dem bedre. For at forbedre dig skal du først prøve.