Hvad skal vi tænke, når lægelig dokumentation ikke er enig?

For at forstå, om en ny behandling for en sygdom virkelig er bedre end ældre behandlinger, ser læger og forskere efter de bedste tilgængelige beviser. Sundhedspersonale ønsker et "sidste ord" som bevis for at løse spørgsmål om, hvad de bedste behandlingsformer er.

Men ikke alle medicinske beviser er skabt ens. Og der er et klart bevishierarki: ekspertudtalelse og sagsrapporter om individuelle begivenheder er på det laveste niveau, og veludførte randomiserede kontrollerede forsøg er tæt på toppen. Øverst i dette hierarki er metaanalyser - undersøgelser, der kombinerer resultaterne fra flere studier, der stillede det samme spørgsmål. Og meget, meget øverst i dette hierarki er metaanalyser udført af en gruppe kaldet Cochrane-samarbejde.

For at være medlem af Cochrane Collaboration skal enkelte forskere eller forskningsgrupper overholde meget strenge retningslinjer for, hvordan metaanalyser skal rapporteres og gennemføres. Derfor betragtes Cochrane-anmeldelser generelt som de bedste metaanalyser.

Ingen har dog nogensinde spurgt, om resultaterne i metaanalyser udført af Cochrane Collaboration er forskellige fra metaanalyser fra andre kilder. I teorien, hvis du sammenlignede en Cochrane og ikke-Cocrhane metaanalyse, begge offentliggjort inden for en lignende tidsramme, ville du have en tendens til at forvente, at de ville have valgt de samme undersøgelser til at analysere, og at deres resultater og fortolkning ville mere eller mindre match op.

Vores team på Boston University's School of Public Health besluttede at finde ud af det. Og overraskende er det ikke hvad vi fandt.


indre selv abonnere grafik


Hvad er alligevel en metaanalyse?

Forestil dig, at du har fem små kliniske forsøg, som alle fandt en generelt positiv fordel for, lad os sige, at tage aspirin for at forhindre hjerteanfald. Men fordi hver af undersøgelserne kun havde et lille antal forsøgspersoner, kunne ingen med tillid erklære, at de gavnlige virkninger ikke bare skyldtes tilfældigheder. I statistisk tale ville sådanne undersøgelser blive betragtet som "understyrket."

Der er en god måde at øge den statistiske styrke i disse undersøgelser på: kombiner disse fem mindre studier til en. Det er, hvad en meta-anaysis gør. At kombinere flere mindre studier i en analyse og tage gennemsnittet af disse undersøgelser kan undertiden tippe skalaerne og lade det medicinske samfund med tillid vide, om en given intervention fungerer eller ej.

Metaanalyser er effektive og billige, fordi de ikke kræver kørsel af nye forsøg. Det handler snarere om at finde alle de relevante undersøgelser, der allerede er offentliggjort, og dette kan være overraskende svært. Forskere skal være vedholdende og metodiske i deres søgning. At finde studier og beslutte, om de er gode nok til at stole på, er hvor denne videnskabs kunst - og fejl - bliver et kritisk emne.

Det er faktisk en vigtig grund til, at Cochrane Collaboration blev grundlagt. Archie Cochrane, sundhedsforsker, anerkendte styrken af ​​metaanalyser, men også den enorme betydning af at gøre dem rigtigt. Cochrane Collaboration-metaanalyserne skal overholde meget høje standarder for gennemsigtighed og metodologisk stringens og reproducerbarhed.

Desværre er det få, der kan bruge tid og kræfter på at deltage i Cochrane Collaboration, og det betyder, at langt størstedelen af ​​metaanalyser ikke udføres af Collaboration og ikke er forpligtet til at overholde deres standarder. Men betyder det faktisk noget?

Hvor forskellig kan to metaanalyser være?

For at finde ud af, startede vi med at identificere 40 par metaanalyser, en fra Cochrane og en ikke, der dækkede den samme intervention (f.eks. Aspirin) og resultatet (f.eks. Hjerteanfald) og derefter sammenlignede og kontrasterede dem.

For det første fandt vi ud af, at næsten 40 procent af Cochrane- og ikke-Cochrane-metaanalyserne var uenige i deres bundlinjestatistiske svar. Det betyder, at typiske læsere, læger eller sundhedspolitiske beslutningstagere for eksempel ville komme med en grundlæggende anden fortolkning af, om interventionen var effektiv eller ej, afhængigt af hvilke meta-analyser de tilfældigvis læste.

For det andet syntes disse forskelle at være systematiske. De ikke-Cochrane-anmeldelser havde i gennemsnit en tendens til at antyde, at de interventioner, de testede, var mere potente, mere tilbøjelige til at helbrede tilstanden eller afværge medicinsk komplikation, end Cochrane-anmeldelserne foreslog. Samtidig var de ikke-Cochrane anmeldelser mindre præcise i deres nøjagtighed, hvilket betyder, at der var en større chance for, at resultaterne kun skyldtes tilfældigheder.

En metaanalyse er intet mere end blot et fancy vægtet gennemsnit af dets komponentundersøgelser. Vi var overraskede over at finde ud af, at cirka 63 procent af de inkluderede studier var unikke for det ene eller det andet sæt metaanalyser. Med andre ord, på trods af at de to sæt metaanalyser formodentlig ville lede efter de samme papirer ved hjælp af lignende søgekriterier over en lignende periode og fra lignende databaser, havde kun omkring en tredjedel af papirerne, som de to sæt havde inkluderet var de samme.

Det forekommer sandsynligt, at de fleste eller alle disse forskelle kommer ned på det faktum, at Cochrane insisterer på strengere kriterier. En metaanalyse er kun så god som de studier, den inkluderer, og at tage gennemsnittet af dårlig forskning kan føre til et dårligt resultat. Som man siger, "skrald ind, skrald ud."

Interessant nok havde de analyser, der rapporterede meget højere effektstørrelser, en tendens til at blive citeret igen i andre papirer med en meget højere hastighed end analyserne, der rapporterede om den lavere effektstørrelse. Dette er en statistisk udførelsesform for det gamle journalistiske ordsprog "Hvis det bløder, fører det." Store og dristige effekter får mere opmærksomhed end resultater, der viser marginale eller utvetydige resultater. Det medicinske samfund er trods alt bare menneskeligt.

Hvorfor er det vigtigt?

På det mest basale niveau viser dette, at Archie Cochrane var helt korrekt. Metodisk konsistens og strenghed og gennemsigtighed er afgørende. Uden det er der en risiko for at konkludere, at noget fungerer, når det ikke virker, eller endda bare overhypse fordele.

Men på et højere niveau viser dette os endnu en gang, hvor meget vanskeligt det er at skabe en samlet fortolkning af den medicinske litteratur. Metaanalyser bruges ofte som det sidste ord om et givent emne som tvetydighedens voldgiftsmænd.

Det er klart, at denne rolle udfordres af det faktum, at to metaanalyser, tilsyneladende om det samme emne, kan nå forskellige konklusioner. Hvis vi ser metaanalysen som "guldstandarden" i vores nuværende æra af "evidensbaseret medicin", hvordan skal den gennemsnitlige læge eller beslutningstager eller endda patient reagere, når to guldstandarder modsiger hinanden? Caveat tømmer.

Om forfatterenThe Conversation

Christopher J. Gill, lektor, Afdeling for global sundhed; Infektionssygdoms specialist, Boston University.

Denne artikel blev oprindeligt offentliggjort den The Conversation. Læs oprindelige artikel.


Relateret bog:

at InnerSelf Market og Amazon