Di Milton Packer, MD – Fonte: Circulation. 2017;136(22):2097-2099 – Traduzione in italiano a cura di Barbara Wade
Quanti manoscritti temibili che descrivono i risultati della meta-analisi vengono inviati e respinti dalle riviste mediche ogni anno?
No si può sapere, ma molte meta-analisi pubblicate non fanno uso di metodi appropriati né contribuiscono in modo significativo al pensiero medico né all’assistenza del paziente.
Alcune riviste mediche evitano (di pubblicare) tutte le meta-analisi, mentre altri sono orgogliosi nel pubblicare solo i migliori; ancora (mentre) altri sono deliziati nel poter stampare qualsiasi cosa in un’epoca in cui la possibilità di pubblicare eccede di gran lunga il numero di osservazioni valide.
Molti hanno esaminato la metodologia che sta alla base della meta analisi ed altri hanno stabilito gli standard per il loro svolgimento.
A dispetto di quest’orientamento, le meta-analisi continuano a proliferare, ma dovremmo chiederci: contribuiscono veramente?
Stimate organizzazioni considerano le conclusioni di una meta-analisi ben eseguita come un più alto livello di “prova” di quanto non lo sia un singolo studio clinico (cioè su paziente) ben eseguito. Questo commento spiega il perché questo non possa essere vero.
Una meta-analisi è Semplicemente un imperfetto studio osservazionale*
Molti medici credono (in errore) che vi sia un qualcosa di magico attorno ad una meta-analisi. Una meta-analisi è uno studio osservazionale, ma l’autore non fa alcun lavoro originale.(nel senso che lui non fa il lavoro di base). Qualcuno semplicemente nota che molti articoli hanno dati che coprono una determinata materia comune e che loro potrebbero mostrare schemi simili.
Come possono essere descritti questi schemi? Una volta, l’approccio era quello di descrivere questi schemi in forma narrativa, ma questo compito necessitava di possedere un introspezione dei dettagli di ogni singolo studio clinico, nonché la volontà di chiedersi se o no le differenze nel disegno (com’è stato messo su) o nello svolgimento dello studio avrebbe potuto contribuire negli esiti differenti fra uno studio e l’altro.
L’attuale approccio alla meta-analisi non richiede alcun sforzo intellettuale simile; è sufficiente avere una minima conoscenza dello studio in questione, basta che soddisfi certe caratteristiche minime.
I sostenitori delle meta-analisi affermano (claim significa affermare senza prove) che fanno una selezione di studi clinici da includere o escludere basato solamente sulle loro qualità metodologiche. Può l’autore di una meta analisi afferma di aver letto solamente la sezione metodi di un articolo, ma di aver ignorato il titolo, il riassunto, i risultati e la discussione?
In realtà , una meta analisi è un metodo matematico per combinare dati, che è pesato dalla quantità delle osservazioni e non dalla qualità di essi.
Ad uno studio clinico che ha registrato molti eventi in modo imperfetto ed è franto di dati mancanti e/o confuse, viene dato + peso di quanto non venga dato ad un studio clinico piccolo che è stato svolto in modo impeccabile, ma che ha registrato pochi eventi.
Il metodo utilizzato da una meta analisi aumenta la precisioni (ma non il suo grado di verità) di una qualsiasi stima . Ciò nonostante, per poter acquisire questa ulteriore misura di confidenza, dobbiamo mettere insieme studi clinici che hanno fatto uso di design (schemi) diversi, utilizzando dosi (si suppone di farmaci) diversi per periodi di tempi diversi, ed, inoltre, fatto osservazioni( tratto conclusioni) con diversi gradi di attenzione.
Questo è come pensare di valutare il rendimento stagionale di una squadra di baseball sommando la differenza nei punti fatti alle fine della prima parte della partita in (solo) alcune partite, senza prestare attenzione a chi faceva parte della squadra e contro chi giocavano. Aggiungi (a questo) l’incertezza se – solo – alcune delle partite fossero state giocate usando regole particolari e che alcuni punti fatti fossero stati ignorati. Per peggiorare le cose, tutte le partite dove sono stati ottenuti alti punteggi nella prima parte della partita avrebbero più peso di non quelli dove nessun punteggio fosse stato fatto da una squadra o l’altra nella stessa frazione di gara. Provate ad applicare questo metodo per prendere l’esito finale della stagione di una squadra! Perché si dovrebbe provare a fare ciò? Un’analisi completa del rendimento totale della squadra durante tutto l’anno fornisce molte più informazioni che non considerare solo alcuni innings, per restare in metafora sportiva.
Ecco il perché una conclusione in uno studio clinico in larga scala, ben organizzato con un architettura definita, sia molto più affidabile di quanto non lo siano le inferenze della maggior parte delle meta-analisi.
Una tale conclusione non dovrebbe sorprenderci. Dovuto alla loro natura osservazionale, le meta-analisi generano ipotesi. Non ci si aspetta che i loro esiti stabiliscano alcunché; piuttosto ci si aspetta che vengano confermati o no in un successivo studio clinico definito.
Quale genere di meta-analisi dovrebbe particolarmente allarmarci?
Qualsiasi siano i loro punti forti o deboli, molte meta-analisi hanno caratteristiche che dovrebbero allarmarci, anche se il lavoro adempie a standard convenzionali di struttura e di esecuzione.
Le conclusione delle meta-analisi non dovrebbero fare affidamento su piccoli numeri di eventi.
Molti medici sono dell’idea che la meta-analisi sia un eccellente strumento quando il numero di eventi in studi clinici individuali sono limitati.
Sebbene questa premessa abbia una certa validità, il numero totale di eventi in un’analisi aggregata conta ancora. Se ciascuno dei 10 studi clinici dovesse raccogliere ciascheduno <5 eventi, la risultante meta-analisi sarebbe basata su <50 eventi.
Una tale stima sarebbe più precisa di quanto non lo sarebbe quella fornita da uno studio individuale, bensì ancora troppo piccolo per poter fornire una verità replicabile. Se vogliamo che una meta-analisi dia una stima stabile e affidabile, il numero totale di eventi dovrebbe essere in eccesso di 200 o 300. Quante sono le meta-analisi basate su così tante informazioni?
Sia diffidenti delle meta-analisi basate su confronti indiretti.
Se non ci fossero prove (o dati) ottenuti dal confronto diretto proveniente da uno studio clinico di due interventi, ma studi clinici che analizzano con la stessa metodica un singolo intervento si è purtroppo tentati ad utilizzare un confronto indiretto per stimare i risultati di un inesistente studio clinico diretto (che purtroppo non esiste). Tristemente questo approccio è basato su un assunto che raramente viene adempito.
Una meta-analisi ha concluso in maniera errata che il naproxen fosse più sicuro di altri FANS, basandosi sull’assunto che questi farmaci inibitori selettivi della ciclo-ossigenasi (FANS), avessero la medesima tossicità.
Uno successivo grande studio clinico (definitivo) non era in grado di cofirmare alcun vantaggio, in termini di sicurezza, nell’utilizzo di naprozen. Dobbiamo stri attenti delle meta-analisi che fanno previsioni su probabili risultati di sperimenti comparativi che non son mai stati fatti.
Le meta-analisi non dovrebbero dirci ciò che sappiamo già, ne oscurare ciò che dovremmo ricordare. Le meta-analisi dovrebbero fornire introspezioni che siano superiori a quelli forniti da un riassunto dei dai in narrativa.
Se studi clinici fatti in larga scala su arresto cardiaco dove sono stati utilizzati 3 diversi beta bloccanti (bisoprolol, carvedilol, and metoprolol), e ciascuno dovesse riscontrare una quasi identica riduzione di mortalità per qualsiasi causa del 35%, allora sarebbe poco utile fare una meta-analisi delle 3 studi clinici. In questo caso, una meta-analisi non aggiungerebbe alcun informazione nuovo, inoltre, i risultati raggiunti non sarebbero necessariamente applicabile ad altri beta bloccanti (es bucindolol e nebivolol).
Numerose meta-analisi semplicemente cofermano ciò che si sa già e molti nascondano differenze significative che, al meglio, sarebbero capite in modo descrittivo piuttosto che in un modo matematico.
Che cosa dovremmo aspettare da una Meta-analisi?
Le meta analisi possano essere utili se forniscano scoperte innovative che rispecchiano la struttura dei studi clinici e se sono basati su un significativo quantità di dati.
In questo caso, una meta-analisi può dare una risposta che è vicino, o perfino supera, quello di un singolo studio cinico. Sfortunatamente, la sta maggioranza delle meta-analisi non arrivano ad avere un tale livello. Molti esistano perché possano (facilmente) creare un elenco di pubblicazione per gli autori.
Possiamo credere che un modello matematico dia + introspezioni di quanto non faccia riassunti narrative.
Ciò nonostante, la nostra opinione è che una meta-analisi debba essere bassata su una semplice domanda: se non ci fossero stati delle meta-analisi nei passati 40 anni, la nostra conoscenza di medicina cardiovascolare sarebbe diversa di quanto lo è attualmente?
*Studio osservazionale – Un’intervista o uno studio non-sperimentale. I ricercatori indagano e riferiscono su cosa sta accadendo, senza deliberatamente intervenire nel corso degli eventi.
