Metanálises são sempre confiáveis? Um erro comum na análise de evidências
Em setembro foi publicada uma metanálise que compara os resultados do implante valvar aórtico transcateter e da cirurgia convencional em pacientes com baixo risco cirúrgico (Kolte, D. JACC, 74(12):1532-1540). O estudo ganhou notoriedade rápida e foi bastante discutido em diversos congressos da área cardiovascular, especialmente em função dos resultados alcançados com a sumarização dos dados de quatro estudos. Os autores verificaram que o procedimento por cateter apresentou desfechos melhores em relação ao procedimento convencional em pacientes com idade igual ou superior a 70 anos e STS Score < 4%.
No entanto, a publicação deste trabalho também pode servir a outro propósito – e é a ele que vamos nos dedicar aqui: a discussão sobre o nível de evidência que as metanálises nos proporcionam e os aspectos metodológicos que cercam este delineamento de estudo. Será que a metanálise realmente respondeu de forma satisfatória a questão de pesquisa?
Existem diversas ferramentas que ajudam a construir uma metanálise e avaliar sua qualidade metodológica. Uma delas é o PRISMA, um check-list com 27 itens que devem ser contemplados em uma metanálise. Os autores até incluíram o check-list PRISMA nas tabelas online do artigo, porém, já no início, pode-se encontrar o primeiro problema: ao contrário do estabelecido, os autores não mencionam no título que a técnica empregada é a metanálise.
Ao seguir a listagem, percebe-se que outros pontos não foram contemplados ou foram parcialmente contemplados. Um aspecto especialmente importante é o de número 5, que cita a existência de um protocolo de revisão da metanálise e seu número de registro. As informações, em oposição ao que indica o check-list, não constam em nenhuma base de dados. Considerando que o protocolo registrado deve expor o plano completo de buscas, a exclusão e inclusão de artigos, bem como o plano de análises, em protocolos de metanálise não registrados os autores podem moldar a busca de artigos conforme os resultados encontrados em análises parciais – ou seja, realizar buscas e análises Post Hoc*.
É o que ocorre no artigo publicado por Kolte e colaboradores com a inclusão de dados da análise Post Hoc de um subgrupo retirado do ensaio clínico randomizado SURTAVI. Este tipo de método é bastante questionado e, inclusive, o FDA (Food and Drug Administration, EUA) não aceita trabalhos com análise Post Hoc que envolva a inclusão posterior de subgrupos que não faziam parte da questão de pesquisa original.
Em contrapartida, não é raro que revisores de periódicos médicos solicitem análises Post Hoc de determinados subgrupos de pacientes. Metodologicamente, a abordagem é no mínimo discutível, e muitos estatísticos não aceitam realizar análises adicionais que fujam do propósito e do contexto inicial da pesquisa.
No metanálise de Kolte e colaboradores, ao incluir o subgrupo do SURTAVI e realizar uma análise específica destes pacientes, o efeito benéfico da randomização foi perdido ou minimizado. Ainda que recursos estatísticos sejam utilizados para mitigar resultados como esse, os pacientes foram randomizados com base em outro contexto de pesquisa e de acordo com parâmetros de inclusão pertinentes a outra pergunta. Cabe, portanto, questionar: se extrair um subgrupo de um ensaio clínico randomizado fez com que o efeito da randomização fosse perdido, os dois estudos de coorte não poderiam ser considerados na análise? Ou os dados do SURTAVI é que deveriam ser excluídos? O mais adequado, certamente, seria não utilizar os dados de subgrupo do estudo SURTAVI.
Vamos agora a outro exemplo. Uma metanálise com três ensaios clínicos randomizados foi publicada em agosto deste ano no periódico Cardiovascular Revascularization Medicine por Ahmad Al-Abdouh e colaboradores (Boltimore, EUA). Os pesquisadores, da mesma forma que Kolte, buscaram comparar o implante valvar aórtico transcateter e a cirurgia aórtica convencional em pacientes com baixo risco cirúrgico. Porém, nesta pesquisa, os autores optaram por não realizar análise Post Hoc. Os resultados reúnem os dados de 2698 pacientes e não apresentaram diferença na mortalidade por qualquer causa na comparação entre os dois tratamentos. Complementarmente, os pesquisadores verificaram que algumas complicações secundárias são mais frequentes em uma ou outra técnica – maior número de implantes de marcapasso permanente no grupo de TAVI e maior risco de sangramento importante no grupo cirúrgico, por exemplo.
É interessante pensar as razões que fizeram com que esta segunda metanálise recebesse menor ou nenhum destaque, ao contrário da publicada por Kolte e colaboradores. É provável que o principal motivo seja a busca por um “p” significativo, já que temos a tendência de desconsiderar estudos em que o “p” não seja expressivo -ignorando que a ausência de diferença estatística é um resultado tão importante quanto a presença de diferença estatística.
Uma pesquisa com diferença significativa tende a chamar mais a atenção dos revisores durante a curadoria dos periódicos. Note que a metanálise de Kolte foi publicada no JACC, com fator de impacto de 16,834, enquanto a metanálise de Al-Abdouh foi publicada no periódico Cardiovascular Revascularization Medicine, cujo fator de impacto é 1,29. Não é novidade - ou não deveria ser – que uma grande revista não garante a publicação de um grande artigo.
A metanálise de Kolte e colaboradores possui problemas metodológicos importantes e, desta forma, não parece ser satisfatória para responder a questão de pesquisa a que se propôs.
Parafraseando o escritor Eduardo Bueno, este texto está repleto de generalizações e simplificações. Para entender com profundidade as ideias que foram discutidas aqui, recomendo a leitura de manuais de metanálise (principalmente o da Cochrane), além das demais referências listadas abaixo e outros livros de estatística para que cada um possa elaborar suas próprias compreensões. Acesse também o perfil @oito.pesquisaecomunicao no Instagram. Lá você encontrará conteúdo científico e dicas de metodologia para a área da saúde.
* Post Hoc: o termo é proveniente do latim e significa “depois de”. Na área estatística, usa-se a denominação quando, após a análise prevista no plano estatístico, uma nova análise é realizada. Muitas vezes, o post hoc é motivado pelo desejo de produzir resultados “positivos”, em geral com um “p” significativo. Vale ressaltar que o termo pode ser utilizado também em situações estatísticas perfeitamente adequadas à metodologia científica. É o caso da análise dos resultados de uma ANOVA para identificar quais grupos apresentaram diferença estatística significativa. O termo post hoc, neste exemplo, indica que essa análise foi feita depois da ANOVA.
Referências:
Kolte, D, et al. Thanscatheter versus surgical aortic valve replacement in low-risk patients. JACC. 74(12):1532-1540, 2019
Valentine, JC, et al. How Many Studies Do You Need? A Primer on Statistical Power for Meta-Analysis. Journal of Educational and Behavioral Statistics. 35(2): 215-247, 2010
Cochrane Handbook for Systematic Reviews of Interventions. https://handbook-5-1.cochrane.org/front_page.htm
Principais itens para relatar Revisões sistemáticas e meta-análises: A recomendação PRISMA* http://www.scielo.br/pdf/ress/v24n2/2237-9622-ress-24-02-00335.pdf
Methley, AM, et al. PICO, PICOS and SPIDER: a comparison study of specificity and sensitivity in three search tools for qualitative systematic reviews. BMC Health Serv Res. 14: 579, 2014
Crowther M1, Lim W, Crowther MA. Systematic review and meta-analysis methodology. Blood. 28;116(17):3140-6, 2010
Al-Abdouh A, Upadhrasta S, Fashanu O, et al. Transcatheter aortic valve replacement in low-risk patients: A meta-analysis of randomized controlled trials. Cardiovasc Revasc Med. 2019 Aug 16, pii: S1553-8389(19)30481-6
