Bastão de Asclépio & Distribuição Normal
invisible(Sys.setlocale("LC_CTYPE", "pt_BR.UTF-8"))
invisible(Sys.setlocale("LC_ALL", "pt_BR.UTF-8"))
options(warn=-1)
suppressMessages(library(compute.es, warn.conflicts=FALSE))
suppressMessages(library(dmetar, warn.conflicts=FALSE)) # https://www.bookdown.org/MathiasHarrer/Doing_Meta_Analysis_in_R/forest.html
suppressMessages(library(esc, warn.conflicts=FALSE))
suppressMessages(library(forestplot, warn.conflicts=FALSE))
suppressMessages(library(ggplot2, warn.conflicts=FALSE))
suppressMessages(library(knitr, warn.conflicts=FALSE))
suppressMessages(library(mada, warn.conflicts=FALSE))
suppressMessages(library(meta, warn.conflicts=FALSE))
suppressMessages(library(metacor, warn.conflicts=FALSE))
suppressMessages(library(metafor, warn.conflicts=FALSE)) # https://wviechtb.github.io/metafor/
suppressMessages(library(metaplot, warn.conflicts=FALSE))
suppressMessages(library(metaplus, warn.conflicts=FALSE))
suppressMessages(library(metasens, warn.conflicts=FALSE))
suppressMessages(library(metatest, warn.conflicts=FALSE))
suppressMessages(library(mmeta, warn.conflicts=FALSE))
suppressMessages(library(MuMIn, warn.conflicts=FALSE))
suppressMessages(library(psychmeta, warn.conflicts=FALSE))
suppressMessages(library(rmeta, warn.conflicts=FALSE))
# suppressMessages(library(metap, warn.conflicts=FALSE))
# suppressMessages(library(metaSEM, warn.conflicts=FALSE))
A RS é um sumário de evidências provenientes de estudos primários conduzidos para responder uma questão específica de pesquisa.
Utiliza um processo de revisão de literatura abrangente, imparcial e reprodutível, que localiza, avalia e sintetiza o conjunto de evidências dos estudos científicos para obter uma visão geral e confiável da estimativa do efeito da intervenção.
Segundo Dancey & Reidy (2019):
“A replicação é uma das pedras angulares da ciência.
Se você observa um fenômeno uma vez, então pode ter sido por acaso; se o observa duas, três ou mais vezes, pode estar começando a aprender algo sobre o fenômeno estudado.
Se o seu estudo foi o primeiro neste assunto, é sensato que você trate os resultados com certo grau de cautela.”
Segundo Ellis (2010):
O tamanho do efeito estimado é uma superestimativa do tamanho do efeito populacional.
“Estudos com resultados positivos são mais propensos a serem submetidos para publicação: estudos com resultados estatisticamente significantes são 8 vezes mais propensos a serem submetidos.
Uma vez submetidos, tais estudos são mais propensos a serem publicados; isso ocorre porque os editores frequentemente usam a significância estatística com uma medida de controle de qualidade para selecionar estudos para publicação e, como indicado anteriormente, uma falta de resultado significativo não implica a ausência de um efeito de tratamento.
Esse viés de publicação significa que aqueles estudos que têm os efeitos mais fortes são mais propensos a serem publicados, e, consequentemente, qualquer metanálise desses estudos tende a superestimar o efeito de tratamento da população.
Esse não é um problema pequeno, pois a metodologia rigorosa de metanálise pode dar credenciais científicas a conclusões errôneas, e esse é um sério abuso da metanálise.
Estudos com números maiores de participantes são mais propensos a ter tamanhos de efeito que são mais próximos do tamanho de efeito populacional.
O valor da metanálise que usa pequenas quantidades de estudos está mais em focalizar a pesquisa futura do quem obter conclusões firmes”
Metanálise é um método de síntese de dados quantitativos provenientes de múltiplos estudos independentes que abordam uma mesma questão de pesquisa. Parte essencial desse método envolve o cálculo de um tamanho de efeito combinado a partir de todos os estudos.
Essa abordagem estatística exige a extração de tamanhos de efeito e medidas de variância dos estudos incluídos.
Ao combinar esses tamanhos de efeito, aumenta-se o poder estatístico e é possível resolver incertezas ou discrepâncias encontradas em estudos individuais.
Metanálises são fundamentais para apoiar propostas de financiamento, formular diretrizes terapêuticas e influenciar políticas de saúde.
Também desempenham papel crucial ao sintetizar a pesquisa existente para orientar estudos futuros, consolidando-se como metodologia central na metaciência.
Metanálises são frequentemente, mas não necessariamente, componentes importantes de uma revisão sistemática.
Metanálise é uma análise estatística que combina os resultados de dois ou mais estudos independentes, gerando uma única estimativa de efeito.
A metanálise estima com mais poder e precisão o “verdadeiro” tamanho do efeito da intervenção, muitas vezes não demonstrado em estudos únicos, com metodologia inadequada e tamanho de amostra insuficiente.
Uma RS não necessáriamente precisa apresentar uma metanálise. Ao contrário, em alguns casos não é apropriado que seja realizada, podendo até mesmo gerar conclusões errôneas.
Um exemplo desta situação é quando apenas dois estudos reportaram dados de um desfecho com estimativas de efeitos opostas, ou seja, um estudo aponta benefício da intervenção e o outro aponta benefício do controle.
Nesse caso, não se deve combinar esses achados. Quando vários estudos reportam dados de desfechos que divergem em algum grau de magnitude, deve-se avaliar o grau de similaridade dos efeitos nos estudos, utilizando ferramentas estatísticas, como teste para inconsistência e heterogeneidade, discutidos posteriormente.
Em geral, dois tipos de evidência podem ser distinguidos em uma meta-análise: dados de participantes individuais (IPD) e dados agregados (AD). Os dados agregados podem ser diretos ou indiretos.
AD são mais comumente disponíveis (por exemplo, em artigos publicados) e geralmente representam estimativas resumidas como odds ratios (OR) ou risk ratios (RR). Esses dados podem ser sintetizados diretamente entre estudos conceitualmente semelhantes por meio de diversas abordagens. Por outro lado, dados agregados indiretos mensuram o efeito de dois tratamentos que foram comparados separadamente com um grupo controle comum. Por exemplo, se os tratamentos A e B foram comparados diretamente com placebo em metanálises separadas, pode-se estimar o efeito indireto de A vs. B como o efeito de A vs. placebo menos o efeito de B vs. placebo.
Evidência do tipo IPD representa os dados brutos coletados nos centros de estudo. Essa distinção motivou o desenvolvimento de métodos meta-analíticos distintos, levando à formulação dos métodos em um estágio e dois estágios. Nos métodos de um estágio, os IPDs de todos os estudos são modelados simultaneamente, considerando o agrupamento de participantes dentro dos estudos. Nos métodos de dois estágios, calculam-se primeiro estatísticas-resumo (AD) para cada estudo e, em seguida, combinam-se essas estatísticas como uma média ponderada. Ao reduzir IPD a AD, os métodos de dois estágios também podem ser aplicados mesmo quando IPD está disponível, o que os torna uma escolha atraente. Embora se presuma que métodos de um e dois estágios produzam resultados semelhantes, estudos recentes mostram que eles podem ocasionalmente levar a conclusões diferentes.
O modelo de efeito fixo fornece uma média ponderada de uma série de estimativas de estudos. A inversa da variância das estimativas é comumente usada como peso, de modo que estudos maiores tendem a contribuir mais do que estudos menores para a média ponderada. Consequentemente, quando uma meta-análise é dominada por um estudo muito grande, os achados dos estudos menores são praticamente ignorados.
Mais importante ainda, o modelo de efeitos fixos assume que todos os estudos incluídos investigam a mesma população, usam a mesma variável e definições de desfecho, etc. Essa suposição é tipicamente irrealista, pois a pesquisa frequentemente é afetada por heterogeneidade.
Formalmente, se começarmos com uma coleção de estimativas de tamanho de efeito independentes, cada uma estimando um verdadeiro efeito de tamanho \(\theta_i\) para \(i = 1, \dots, k\), podemos assumir que:
\[ y_i = \theta + \varepsilon_i \]
onde:
Assim, assume-se que os \(y_i\) são estimativas não viesadas e normalmente distribuídas dos respectivos efeitos verdadeiros \(\theta_i\). As variâncias amostrais \(\nu_i\) são assumidas como conhecidas.
O gráfico forest plot, comum em meta-análises, indica os efeitos de cada estudo individual e a estimativa combinada.
A maioria das meta-análises baseia-se em conjuntos de estudos que não são idênticos em seus métodos e/ou nas características das amostras incluídas. Diferenças metodológicas e amostrais introduzem variabilidade entre os verdadeiros efeitos (heterogeneidade). Uma forma de modelar essa heterogeneidade é tratá-la como puramente aleatória. A ponderação aplicada na média ponderada sob o modelo de efeitos aleatórios ocorre em dois passos:
Passo 1: ponderação pela variância inversa
Passo 2: desponderação parcial usando um componente de variância de efeitos aleatórios (REVC), estimado a partir da variabilidade entre os tamanhos de efeito dos estudos.
Ou seja, quanto maior a heterogeneidade, maior a desponderação dos estudos grandes, até o ponto em que todos os estudos recebem peso igual (média aritmética simples). No outro extremo, se não houver heterogeneidade além do erro amostral, o modelo de efeitos aleatórios se reduz ao modelo de efeito fixo.
Essa transição depende de dois fatores:
Como nenhum desses fatores indica automaticamente se estudos grandes são melhores ou piores que estudos pequenos, a redistribuição dos pesos pode ser arbitrária. Foi demonstrado que, com aumento da heterogeneidade, os pesos migram dos estudos maiores para os menores, até todos terem o mesmo peso.
Outro problema é que os intervalos de confiança no modelo de efeitos aleatórios geralmente subestimam o erro estatístico e produzem conclusões excessivamente otimistas. Várias correções foram propostas, mas o debate permanece. Em alguns casos, a média dos efeitos no modelo aleatório pode ser menos conservadora que no modelo fixo, o que pode induzir a erro.
Uma solução interpretativa é calcular o intervalo de predição, que representa a possível variação dos efeitos em novos estudos. No entanto, isso pressupõe que os ensaios sejam homogêneos e os grupos comparadores sejam intercambiáveis — uma suposição raramente satisfeita.
Existem diversos métodos para estimar a variância entre estudos, sendo o restricted maximum likelihood (REML) um dos menos viesados e mais usados. Técnicas iterativas como ML e REML podem ser implementadas em R.
Por fim, como muitas meta-análises têm apenas 2 a 4 estudos, a estimativa da variância entre estudos tende a ser imprecisa ou até nula, gerando falsa suposição de homogeneidade. Assim, é comum que a heterogeneidade seja subestimada. Análises de sensibilidade assumindo alta heterogeneidade podem ser úteis. Os modelos discutidos referem-se à meta-análise de dados agregados; para meta-análises com dados individuais (IPD), é necessário empregar modelos de efeitos mistos.
alpha <- 0.05
# Dados simulados
dados <- data.frame(
estudo = c("Estudo1", "Estudo2", "Estudo3", "Estudo4", "Estudo5"),
OR = c(1.22, 1.65, 0.90, 1.35, 1.82),
ICinf = c(1.01, 1.10, 0.60, 1.05, 1.00),
ICsup = c(1.47, 2.45, 1.35, 1.75, 3.30),
duracao = c(5, 7, 4, 6, 8),
tipo_amostra = c("plasma", "plasma", "plasma", "soro", "soro")
)
# Cálculo de log(OR) e SElogOR
dados$logOR <- log(dados$OR)
dados$SElogOR <- (log(dados$ICsup) - log(dados$ICinf)) / (2 * 1.96)
# Meta-análise com modelo de efeitos aleatórios
metaan <- meta::metagen(TE = logOR,
seTE = SElogOR,
studlab = estudo,
sm = "OR",
method.tau = "REML",
common = FALSE,
random = TRUE,
data=dados)
# Resumo dos resultados
print(summary(metaan))
OR 95%-CI %W(random)
Estudo1 1.2200 [1.0113; 1.4718] 46.5
Estudo2 1.6500 [1.1056; 2.4625] 11.1
Estudo3 0.9000 [0.6000; 1.3500] 10.9
Estudo4 1.3500 [1.0457; 1.7428] 26.4
Estudo5 1.8200 [1.0019; 3.3062] 5.1
Number of studies: k = 5
OR 95%-CI z p-value
Random effects model 1.2795 [1.1175; 1.4650] 3.57 0.0004
Quantifying heterogeneity (with 95%-CIs):
tau^2 = 0.0011 [0.0000; 0.5721]; tau = 0.0330 [0.0000; 0.7564]
I^2 = 35.5% [0.0%; 75.8%]; H = 1.24 [1.00; 2.03]
Test of heterogeneity:
Q d.f. p-value
6.20 4 0.1849
Details of meta-analysis methods:
- Inverse variance method
- Restricted maximum-likelihood estimator for tau^2
- Q-Profile method for confidence interval of tau^2 and tau
- Calculation of I^2 based on Q
# Teste de viés de publicação: Egger
try(meta::metabias(metaan, method.bias = "linreg"))
# Gráfico de funil
meta::funnel(metaan,
xlab = "Odds Ratio",
level = 1-alpha,
contour = c(0.9, 0.95, 0.99),
col.contour = c("gray75", "gray85", "gray95"),
lwd = 2,
cex = 2,
pch = 16,
studlab = TRUE,
cex.studlab = 1.25)
# Meta-análise com modelo de efeitos aleatórios por tipo_amostra
metaan_subg <- meta::metagen(TE = logOR,
seTE = SElogOR,
studlab = estudo,
sm = "OR",
method.tau = "REML",
common = FALSE,
random = TRUE,
subgroup=tipo_amostra,
data=dados)
# Resumo dos resultados
print(summary(metaan_subg))
OR 95%-CI %W(random) tipo_amostra
Estudo1 1.2200 [1.0113; 1.4718] 46.5 plasma
Estudo2 1.6500 [1.1056; 2.4625] 11.1 plasma
Estudo3 0.9000 [0.6000; 1.3500] 10.9 plasma
Estudo4 1.3500 [1.0457; 1.7428] 26.4 soro
Estudo5 1.8200 [1.0019; 3.3062] 5.1 soro
Number of studies: k = 5
OR 95%-CI z p-value
Random effects model 1.2795 [1.1175; 1.4650] 3.57 0.0004
Quantifying heterogeneity (with 95%-CIs):
tau^2 = 0.0011 [0.0000; 0.5721]; tau = 0.0330 [0.0000; 0.7564]
I^2 = 35.5% [0.0%; 75.8%]; H = 1.24 [1.00; 2.03]
Test of heterogeneity:
Q d.f. p-value
6.20 4 0.1849
Results for subgroups (random effects model):
k OR 95%-CI tau^2 tau Q I^2
tipo_amostra = plasma 3 1.2206 [0.9234; 1.6135] 0.0341 0.1846 4.35 54.0%
tipo_amostra = soro 2 1.4139 [1.1180; 1.7881] 0 0 0.81 0.0%
Test for subgroup differences (random effects model):
Q d.f. p-value
Between groups 0.62 1 0.4297
Details of meta-analysis methods:
- Inverse variance method
- Restricted maximum-likelihood estimator for tau^2
- Q-Profile method for confidence interval of tau^2 and tau
- Calculation of I^2 based on Q
# Meta-regressão com duração da doença
reg <- meta::metareg(metaan, ~ duracao,
data=dados)
print(summary(reg))
Length Class Mode
0 NULL NULL
# Análise de sensibilidade: excluir estudos com amostra tipo "soro"
metaan_sens <- update(metaan,
subset = dados$tipo_amostra == "plasma")
print(summary(metaan_sens))
OR 95%-CI %W(random)
Estudo1 1.2200 [1.0113; 1.4718] 46.9
Estudo2 1.6500 [1.1056; 2.4625] 26.7
Estudo3 0.9000 [0.6000; 1.3500] 26.4
Number of studies: k = 3
OR 95%-CI z p-value
Random effects model 1.2206 [0.9234; 1.6135] 1.40 0.1614
Quantifying heterogeneity (with 95%-CIs):
tau^2 = 0.0341 [0.0000; 3.5856]; tau = 0.1846 [0.0000; 1.8936]
I^2 = 54.0% [0.0%; 86.8%]; H = 1.47 [1.00; 2.76]
Test of heterogeneity:
Q d.f. p-value
4.35 2 0.1138
Details of meta-analysis methods:
- Inverse variance method
- Restricted maximum-likelihood estimator for tau^2
- Q-Profile method for confidence interval of tau^2 and tau
- Calculation of I^2 based on Q
Uma meta-análise de vários estudos pequenos nem sempre prevê os resultados de um único estudo grande. Alguns argumentam que uma fraqueza do método é que ele não controla as fontes de viés: uma boa meta-análise não pode corrigir falhas metodológicas ou viés dos estudos originais. Isso implicaria que apenas estudos metodologicamente sólidos deveriam ser incluídos, prática conhecida como best evidence synthesis.
Outros analistas defendem incluir também estudos mais fracos e adicionar uma variável preditora ao nível do estudo que reflita a qualidade metodológica, para avaliar o impacto da qualidade no tamanho do efeito. Porém, há quem sustente que é melhor manter a informação sobre a variância entre os estudos e incluir o maior número possível de estudos, pois critérios de seleção metodológica introduzem subjetividade indesejada, contrariando o princípio da meta-análise.
Mais recentemente, impulsionados pela ciência aberta, surgiram ferramentas para desenvolver meta-análises vivas colaborativas (crowd-sourced), atualizadas continuamente por comunidades científicas, com o objetivo de tornar explícitas todas as decisões subjetivas.
Um dos principais desafios das meta-análises é o viés de publicação, conhecido como file drawer problem. Ele ocorre quando estudos com resultados negativos ou não significativos são menos propensos a serem publicados, levando a uma superestimação dos efeitos nos estudos disponíveis.
Por exemplo, empresas farmacêuticas já foram acusadas de ocultar estudos com resultados desfavoráveis, e pesquisadores frequentemente ignoram dissertações ou resumos de congressos que não foram publicados. Isso distorce a distribuição dos tamanhos de efeito, pois os estudos positivos predominam artificialmente.
Esse viés pode ser visualizado por meio de um funnel plot (gráfico em funil), que representa o erro padrão em função do tamanho do efeito. Sem viés, o gráfico é simétrico, pois estudos pequenos apresentam maior dispersão em torno do efeito verdadeiro. Com viés, observa-se assimetria: estudos pequenos com resultados negativos estão ausentes, inclinando o gráfico.
Métodos estatísticos foram propostos para detectar esse viés, mas enfrentam baixa potência estatística e risco de falsos positivos. Além disso, small study effects — diferenças metodológicas entre estudos pequenos e grandes — podem causar assimetria mesmo na ausência de viés de publicação.
Estima-se que até 25% das meta-análises em psicologia sofram com esse problema. E não se trata apenas de seleção editorial: práticas questionáveis, como manipulação de modelos até se obter significância estatística, também contribuem.
Conclusão: o viés de publicação é uma ameaça séria à validade das meta-análises. A interpretação dos resultados deve sempre considerar essa possibilidade.
Estudos frequentemente omitem os resultados quando estes não atingem significância estatística. Por exemplo, afirmam apenas que “não houve diferença significativa entre os grupos”, sem fornecer valores de estatística ou p-valor.
A exclusão desses estudos leva a um viés semelhante ao viés de publicação. No entanto, incluí-los assumindo efeito nulo também introduz viés, pois a ausência de significância não implica ausência de efeito.
Em resumo: tanto excluir quanto incluir tais estudos sem dados completos pode distorcer os resultados da meta-análise. O ideal seria obter as estatísticas completas diretamente dos autores ou estimá-las quando possível.
Ainda não há consenso sobre qual modelo estatístico é mais apropriado para combinar resultados em meta-análise: efeito fixo, efeito aleatório, IVhet (heterogeneidade inversa) ou efeito ponderado por qualidade. A crítica ao modelo de efeitos aleatórios tem se intensificado, pois muitos o veem como um artifício formal para suavização (shrinkage) sem justificativa realista — tornando previsões questionáveis ou mesmo inadequadas.
O principal problema é que esse modelo tenta criar um “estimador de compromisso”: se a heterogeneidade entre estudos é pequena, ele se aproxima da ponderação pela variância inversa; se for grande, ele se aproxima da média aritmética. Porém, ignora-se uma distinção crucial: o modelo escolhido para análise e o mecanismo real de geração dos dados não são, e não precisam ser, iguais.
Assumir que o modelo de análise reflete o processo gerador dos dados é uma simplificação comum, mas equivocada. No contexto de meta-análise, pensar que os efeitos dos estudos são aleatórios — como se tivessem sido sorteados de uma distribuição — é uma hipótese fraca. Na prática, os efeitos observados são fixos para os estudos incluídos. O modelo de efeitos aleatórios, nesse sentido, é apenas uma ferramenta descritiva — e possivelmente inadequada — para fins inferenciais.
Meta-análises muitas vezes não substituem um estudo primário com poder estatístico adequado, especialmente nas ciências biológicas.
A heterogeneidade dos métodos utilizados pode levar a conclusões equivocadas. Por exemplo, diferenças nas formas de uma intervenção ou nas coortes — consideradas menores ou desconhecidas pelos pesquisadores — podem gerar resultados substancialmente distintos, inclusive distorcendo os achados da meta-análise ou não sendo adequadamente considerados na análise dos dados. O oposto também pode ocorrer: resultados de meta-análises podem fazer com que certas hipóteses ou intervenções pareçam inviáveis e impeçam novas pesquisas ou aprovações, mesmo quando modificações — como administração intermitente, critérios personalizados ou medidas combinadas — poderiam levar a resultados significativamente diferentes, inclusive em casos em que isso foi demonstrado em estudos de pequena escala incluídos na meta-análise. A padronização, reprodução de experimentos, dados abertos e protocolos abertos frequentemente não resolvem tais problemas, já que fatores e critérios relevantes podem ser desconhecidos ou não registrados.
Há um debate sobre o equilíbrio adequado entre testar com o menor número possível de animais ou humanos e a necessidade de obter achados robustos e confiáveis. Argumenta-se que pesquisas não confiáveis são ineficientes e desperdiçadoras, e que estudos não são inúteis apenas quando terminam tarde demais, mas também quando terminam cedo demais. Em ensaios clínicos de grande porte, análises sequenciais planejadas às vezes são usadas quando há custos elevados ou riscos potenciais associados à participação dos voluntários. Na ciência comportamental aplicada, foram propostos “megastudies” para investigar a eficácia de diferentes intervenções desenvolvidas de forma interdisciplinar por equipes distintas. Um desses estudos utilizou uma rede de academias para recrutar grande número de participantes. Sugere-se que intervenções comportamentais são frequentemente difíceis de comparar (em meta-análises e revisões), pois “diferentes cientistas testam diferentes ideias de intervenção em diferentes amostras usando diferentes desfechos ao longo de diferentes intervalos de tempo”, o que compromete a comparabilidade dessas investigações individuais e limita “seu potencial de informar políticas públicas”.
Meta-análises em educação muitas vezes não impõem critérios rigorosos quanto à qualidade metodológica dos estudos incluídos. Por exemplo, estudos com amostras pequenas ou medidas construídas pelos próprios pesquisadores tendem a superestimar os tamanhos de efeito. Contudo, esse problema também afeta meta-análises de ensaios clínicos. O uso de diferentes ferramentas de avaliação da qualidade (QAT) leva à inclusão de conjuntos distintos de estudos e, consequentemente, a estimativas conflitantes do efeito médio do tratamento.
dmetar
: https://www.bookdown.org/MathiasHarrer/Doing_Meta_Analysis_in_R/forest.html
metafor
: https://wviechtb.github.io/metafor/
Valente, MD & Paixão, C (2023) METANÁLISE: um Guia Prático: https://rpubs.com/Dhiego_Valente/1109014