Avaliação de Impacto

Este texto foca na fase de avaliação, que consiste em analisar se os resultados esperados foram efetivamente alcançados e se podem ser atribuídos diretamente às intervenções realizadas, envolvendo, assim, o conceito de inferência causal.

A inferência causal busca estabelecer uma relação direta entre a política implementada e os efeitos observados, diferenciando-os de outras possíveis causas externas ou preexistentes. Para isso, utilizam-se métodos como experimentos controlados ou quase-experimentos, que comparam grupos que foram expostos à política com aqueles que não foram.

No campo das avaliações de impacto, superar desafios como a definição de critérios objetivos, a clara identificação do público-alvo, o alcance adequado da pesquisa e a seleção rigorosa da amostragem é essencial para garantir a eficiência da análise. Esses elementos são cruciais para assegurar que a avaliação seja precisa, relevante e capaz de fornecer informações valiosas que orientem a tomada de decisões de forma fundamentada.

Tendo como base o capitulo 9 do livro de Avaliação de impacto das políticas de saúde, podemos identificar oito elementos de contrução no processo avaliativo:

• Definicação do problema de avaliação
• Formulação dos objetivos
• Revisão da literatura especializada
• Obtenção e análise exploratória dos dados
• Comunicação e disseminação dos achados
• Elaboração de testes de robustez e heterogeneidade
• Análise e discussão dos resutaldos
• Elaboração da estratégia de identificação

Entre essas fases, a revisão da literatura é primordial para garantir a qualidade do trabalho, assegurando que os elementos utilizados sejam realmente significativos para o tema em análise. Em casos de comparação de tratamentos, os dados devem ser captados de grupos tratados e não tratados, sendo necessária a identificação das variáveis que têm poder de influência, direta ou indireta.

Este processo detalhado e estruturado permite que a avaliação de impacto seja mais robusta e confiável, contribuindo para melhores decisões e políticas públicas mais eficazes.

Para medição do efeitos, que são baseados pela configuração dos grupos, pode-se utilizar os seguintes medidores:

• Efeito Médio do Tratamento (Average Treatment Effect - ATE)

Considerando que observados os resultados para cada indivíduo, o efeito causal individual é calculado como a diferença entre os seus resutaltados pontenciais \(Y(1) - Y(0)\). Esse efeito é a média estimada da intervenção sobre toda a população elegível.

• Efeito Médio Condicional do Tratamento (Conditional Average Treatment Effect - CATE)

Para medir o efeito médio somente subgrup definido por certas características ou covariáveis, usa-se o CATE. Por exemplo, procurar efeito com base no gênero.

\[CATE(x)=E[Y(1)−Y(0)∣X=x]\]

O seu uso é importante pois pode reconhecer que o efeito do tratamento pode não ser uniforme em toda a população.

• Efeito Médio do Tratamento para os Tratados e para os não-Tratados (Average Treatment Effect on the Treated - ATT and on the ATUT)

Além do tratamento condicionado, pode-se pensar no grupo de tratadas como um subgrupo específico de interesse.

ATT é difinido como o efeito médio do tratamento condicionado aos indivíduos que efetivamente receberam o tratamento, representado o efeito o impacto médio para o grupo tratado.

\[ATT=E[Y(1)−Y(0)∣T=1\]

Por outro lado, ATUT consiste o efeito médio do tratamento dos que indivíduos que não sofreram a intervenção do programa, representado o impacto médio do grupo não tratado.

\[ATU=E[Y(1)−Y(0)∣T=0\]

• Efeito de intenação do Tratamento (Intetion-to-treat Effect-ITT)

Para designar os indivíduos que farão parte dos grupos de tratamento e controle, utiliza-se um mecanismo que delimita critérios objetivos e observáveis para a definição da elegibilidade para o tratamento. No entanto, o pesquisador não consegue identificar se os indivíduos elegíveis receberão a intervenção ou se os indivíduos não elegíveis foram tratados. Nessa situação, calcula-se o ITT (Intention to Treat), que tende a ser menor que o efeito do tratamento sobre os tratados.

De modo mais simples, ITT é o efeito de ser designado para receber um tratamento, e não necessariamente o efeito de completar o tratamento.

\[ITT=E[Y∣T=1]−E[Y∣T=0]\]

Desenhos de pesquisa

Para escolha do desenho de pesquisa e composição do grupo de comparação, há o envolvimento de questões importantes para a viabilidade da avaliação de impacto, existem duas modalidades:

• Modelos experimentais
• Modelos não-experimentais

Ambos tem o objetivo de medir o efeito causal de uma intervenção, diferindo pela formação do grupo de controle.

Nos modelos experimentais, o pesquisador tem controle direto sobre as variáveis, podendo manipular o fator de interesse para observar os efeitos. Esse tipo de modelo envolve a aleatorização, onde os participantes são divididos aleatoriamente em grupo de tratamento (recebe a intervenção) e grupo de controle (não recebe a intervenção). A aleatorização é crucial, pois reduz vieses e torna os dois grupos comparáveis, permitindo estabelecer relações causais diretas entre a intervenção e os resultados.

Já os modelos não experimentais não envolvem esse controle rigoroso e aleatorização. Nesses casos, os grupos de estudo e controle são formados de maneira observacional, ou seja, a intervenção é aplicada em grupos pré-existentes. Esse método não permite o mesmo nível de controle sobre variáveis externas, o que torna mais difícil estabelecer uma relação causal direta, uma vez que outros fatores podem influenciar os resultados.

Modelos Experimentais

Randomized Controlled Trials (RCT)

Este tipo de pesquisa é mais tradicional. São realizadas duas amostragem como medidas semelhantes, até a não-observaveis, sendo a única diferença consiste a exposição à intervenção.

Regressão linear simples

No caso de não existir falhas na execução do desenho experimental, define-se o métodos estatístico para mensusar o efeito médio de tratamento sobre os tratados (ATT): teste de diferença de médias entre o tratados e de controle ou modelo de regressão, no seguinte formato

\[y_{i} = \alpha + \sigma T_{i} + \varepsilon{i}\]

onde \(y\) é o indicador de impacto, \(T\) representa uma variável binária indicadora de tramento e \(\varepsilon\) é o erro aleatório. Os termos \(\alpha\) e \(\sigma\) os parâmetros que serão estimados.

Variáveis instrumentais

No caso de falhas na implementação do desenho experimental utiliza variáveis instrumentais

\[LATE = (E[y_{i}|T = 1] - E[y_{1}|T_{i} = 0])/(E[Z_{i}|T_{i} = 1] - E[Z_{i}|T_{i} = 0])\]

Onde \(E[.]\) representa esperança condicional; \(y_{i}\) é a variável resultado, \(T_{i}\) é a indicação de tratamento e \(Z_{i}\) uma variável dummy que indica se o indivíduo foi sorteado ou não para participar do programa.

Variáveis instrumentais

No caso de falhas na implementação do desenho experimental, ha opção de se utilizar variáveis instrumentais que permite a construção de equação ou sistema de equações quue explicam um processo de causalidade sobre uma variável dependente.

Modelos não experimentais

Pareamento

Técnica usada para comparar grupos tratados e de controle reduzindo o viés de seleção e estimar os efeitos causais a partir da indentificação de características influentes para aplicar uma técnica de pareamento que diminuir a diferença entre os grupos.

Desenho de Regressão Descontínua

Se houver um cut-off determinado por um limite ou ponto em uma variável contínua para a participação no programa determinando os participantes base nesse corte. A diferença nos resultados entre aqueles imediatamente acima e abaixo do ponto de corte é usada para estimar o efeito causal, assumindo que as unidades próximas ao corte, tanto superior quanto inferior, são comparáveis.

Controle Sintético

Neste caso, é um método para seleção do grupo de controle em que se constrói um cenário confractual hipotético (sintético), tendo por base combinações de múltiplas unidade tratada. Um presuposto básico desse modelo é uma combinação de unidade de controle pode fornecer um comparação para unidade tratada estimando uma situação em que não ocorrese intervenção.

Seja \(Y_{it}\) o valor de interesse na unidade \(i\) no tempo \(T\). Supondo que a intervenção ocorreu no tempo \(T_{0}\) para a unidade \(i = 1\) e quanto \(T> T_{0}\) consiste no período pré-intervenção e \(t \geq T_{0}\) o período pós-intervenção. O objetivo é encontrar um vetor de pesos \(W = (w_{1},w_{2},...\)w_{j})$ que funcione como combinação linear dos resultados nas unidades de controle com os pesos tenha valores próximo ao da unidade antes da intervenção. O valor da variável de interesse no controle sintétivo no tempo \(t\) é dado por \(Y_{it}^{sintético} = \sum_{j=2}^{J} = w_{j} Y_{jt}\).

O efeito causal estimado para unidade tratada é a diferença entre o valor observado e o valor sintético:

\[\hat{\tau}_{it} = Y_{it} - Y_{it}^{sintético}\]

Diff-in-Diff

Neste método, o grupo tratado é comparado a um grupo de controle, permitindo a inferência ajustada as tendências comuns a ambos os grupos. Parte-se do princípio, que na ausência de intervenção, a dierença dos resultados entre os grupos seria a mesma do decorrer do tempo.

O estimador de diferenças-em-difenrenças é dado:

\[\beta_{diff} = [E(Y_{2}|D = 1) - E(Y_{1}|D = 1)] - [E(Y_{2}|D = 0) - E(Y_{1}|D = 0)]\]

Referências

Avaliação de impacto das políticas de saúde: um guia para o SUS [recurso eletrônico] / Ministério da Saúde, Secretaria de Ciência, Tecnologia, Inovação e Complexo da Saúde, Departamento de Ciência e Tecnologia. – Brasília: Ministério da Saúde, 2023.