O que os dados revelam — e o que podem esconder?

Uma investigação longitudinal com IDEB, Censo Escolar e R

Ensino Médio público brasileiro • mesmas escolas em 2017 e 2023

1. Pergunta e desenho da pesquisa

Hoje não é uma oficina de R

O foco não é aprender sintaxe.

O R aparece como ferramenta de investigação: organizar bases, construir indicadores, visualizar padrões, testar relações e produzir novas perguntas educacionais.

Pergunta educacional
→
dados
→
decisões metodológicas
→
análise
→
interpretação

Ideia para acompanhar todo o seminário: o código não formula a pergunta de pesquisa por nós. Ele torna algumas perguntas investigáveis em uma escala que seria difícil alcançar manualmente.

A pergunta

Uma escola que melhora suas condições também melhora seus resultados?

Essa pergunta abre outras:

  • O que significa “condições escolares”?
  • O que significa “melhorar”?
  • Devemos comparar duas fotografias diferentes ou acompanhar as mesmas escolas?
  • O ponto de partida importa?
  • O território importa?
  • Associação significa explicação?

Ideia-chave: antes de escolher uma técnica estatística, precisamos definir o fenômeno, as unidades de análise e as variáveis que o representarão.

Condições escolares

As condições escolares foram organizadas em quatro dimensões:

4
Saneamento
5
Infraestrutura
até 11
Tecnologia
4
Gestão e participação

Saneamento: água de rede pública, esgoto, cozinha e banheiro.
Infraestrutura: biblioteca/sala de leitura, laboratório de ciências, laboratório de informática, quadra e refeitório.
Tecnologia: computador, internet, dispositivos, banda larga e outros recursos disponíveis em cada ano.
Gestão e participação: coordenação, conselho escolar, grêmio e associação de pais e mestres.

“Condições escolares” não é uma variável pronta: é uma construção analítica.

A base longitudinal

2017
Ponto inicial
2023
Ponto final
6.997
Escolas acompanhadas

A estratégia usa a interseção das mesmas escolas presentes nos dois anos.

base_ideb <- inner_join(
  ideb_2017,
  ideb_2023,
  by = "co_entidade"
)
IDEB 2017
→
mesma escola
→
IDEB 2023
→
Censo 2017 + 2023

O banco final

8.744
Escolas com IDEB em 2017
14.456
Escolas com IDEB em 2023
6.997
Mesmas escolas nos dois anos
100%
Mantidas após os joins com os Censos

O desenho longitudinal não compara simplesmente dois conjuntos independentes de escolas. Ele acompanha as mesmas unidades escolares nos dois momentos.

Antes da regressão, existe um trabalho de ciência de dados: limpar identificadores, compatibilizar variáveis entre anos, integrar bases e decidir quem permanece na análise.

2. Quadrantes e trajetórias

Quatro possibilidades

Infraestrutura abaixo da mediana Infraestrutura acima da mediana
IDEB acima da mediana Resilientes Convertem
IDEB abaixo da mediana Dupla Vulnerabilidade Subaproveitamento

Distribuição 2017 × 2023

Comparar distribuições ainda não basta

Observar que a proporção de escolas em cada quadrante mudou entre 2017 e 2023 ainda não nos diz quais escolas mudaram.

Duas distribuições podem parecer semelhantes e, ainda assim, esconder intensa mobilidade entre as escolas.

Por isso, a unidade da pergunta muda:

Quantas escolas havia em cada quadrante?
→
Para onde foi cada escola?

Matriz de transição

Para onde foram as mesmas escolas entre 2017 e 2023?

Permanência e mobilidade

56.1%
Permaneceu no mesmo quadrante
13.8%
Avançou para Convertem
8.1%
Saiu da Dupla Vulnerabilidade
7.8%
Entrou em Dupla Vulnerabilidade

As desigualdades aparecem não apenas nos níveis, mas também nas trajetórias.

3. Território e relações

Região

Síntese regional

Região Escolas IDEB 2017 IDEB 2023 Δ IDEB
Sul 633 3.97 4.63 0.659
Nordeste 2488 3.68 4.24 0.560
Centro-Oeste 537 4.17 4.73 0.558
Norte 469 3.53 4.02 0.494
Sudeste 2870 4.09 4.37 0.277

Diferenças regionais são descritivas. Não autorizam leitura causal direta.

Mapa do Brasil

## Mapa não carregado nesta execução.  O restante do relatório funciona normalmente.  Para ativá-lo, instale o pacote geobr e rode com acesso à internet na primeira vez.

Condições × IDEB

Uma associação entre melhoria das condições e melhoria do IDEB resolve o problema de pesquisa?

Não. Ainda precisamos considerar:

  • IDEB inicial;
  • quadrante de origem;
  • região;
  • diferentes dimensões das condições;
  • estrutura por UF.

Correlações

Correlação não encerra a pergunta

Uma correlação pode indicar que duas variáveis se movem juntas, mas não responde sozinha:

  • se a relação permanece quando consideramos outras variáveis;
  • se o ponto de partida explica parte da variação;
  • se escolas pertencentes à mesma UF compartilham condições institucionais;
  • se a associação observada pode ser interpretada causalmente.

Descrever é necessário, mas não é o mesmo que explicar. É justamente essa passagem que motiva a modelagem.

4. Modelagem

Três modelos

M1
condições + quadrante + região
→
M2
+ IDEB inicial
→
M3
+ multinível por UF
0.252
M1 — R²
0.353
M2 — R²
0.346
M3 — R² marginal
0.457
M3 — R² condicional
0.169
M3 — ICC

Escolas estão dentro de UFs

As 6.997 observações não estão organizadas como unidades completamente independentes. As escolas pertencem a 27 unidades federativas, compartilhando políticas, redes, contextos administrativos e condições territoriais.

Brasil
→
UF
→
Escolas
27
UFs na base
0.169
ICC do modelo multinível
16.9%
Parcela associada à estrutura entre UFs

O modelo multinível permite representar estatisticamente essa estrutura hierárquica, em vez de tratar toda escola como se estivesse inserida no mesmo contexto.

Comparação dos modelos

O ponto de partida importa

-0.383
β do IDEB 2017 no modelo multinível
[-0.404; -0.362]
IC 95%

Escolas com IDEB inicial mais alto tenderam, em média e controladas as demais variáveis do modelo, a apresentar menor variação posterior.

Cuidado interpretativo: isso não significa que um IDEB alto “cause” queda. Limites de crescimento e regressão à média precisam ser considerados ao interpretar mudanças entre dois momentos.

Nem todas as dimensões se comportam da mesma forma

β = 0.120 *
Δ Infraestrutura
β = 0.105 *
Δ Gestão
β = 0.058
Δ Tecnologia
β = -0.073
Δ Saneamento

No modelo multinível, infraestrutura e gestão permanecem positivamente associadas à variação do IDEB, enquanto tecnologia e saneamento não apresentam o mesmo padrão de significância.

Se resumíssemos todas essas dimensões em um único índice de “condições”, o que poderíamos esconder?

Coeficientes do multinível

Principais coeficientes

Variável β IC 95% p
IDEB 2017 -0.383 [-0.404; -0.362] <0.001
Δ Saneamento -0.073 [-0.173; 0.026] 0.150
Δ Infraestrutura 0.120 [0.066; 0.174] <0.001
Δ Tecnologia 0.058 [-0.013; 0.13] 0.107
Δ Gestão 0.105 [0.043; 0.167] <0.001

5. Pesquisa com dados na Educação Matemática

O que o quantitativo permite?

6.997
Escolas em escala nacional
2 momentos
Comparabilidade longitudinal
27
UFs
padrões
Permanência e mobilidade

A pesquisa quantitativa permite observar:

  • distribuição;
  • frequência;
  • associação;
  • desigualdade;
  • estrutura;
  • regularidades populacionais;
  • trajetórias em larga escala.

A abordagem quantitativa permite enxergar regularidades que dificilmente seriam percebidas por uma investigação localizada — mas faz isso simplificando a realidade para torná-la analisável.

Pesquisar com dados também é pesquisar Educação

Dados educacionais:

  • não são neutros;
  • resultam de escolhas de coleta;
  • dependem de classificações institucionais;
  • incorporam decisões sobre o que é mensurável;
  • exigem conceitos e teoria para serem interpretados.

A pergunta não é se os dados são quantitativos. A pergunta é se a pesquisa continua sendo educacional.

Quantitativo na Educação Matemática

Perguntas sobre:

  • desigualdade;
  • distribuição de oportunidades;
  • acesso a recursos;
  • currículo avaliado;
  • desempenho;
  • trajetórias;

podem exigir ferramentas capazes de trabalhar com estruturas amplas de dados.

Por que profundidade e escala ainda aparecem tantas vezes como escolhas excludentes?

Uma tensão recorrente

Em Educação Matemática e em Educação, podemos encontrar dois extremos que pouco ajudam quando aparecem isolados:

Teoria
Discussões conceitualmente densas, mas sem exploração empírica capaz de observar padrões em escala.
Técnica
Análises estatísticas sofisticadas, mas pouco conectadas às questões educacionais que deveriam lhes dar sentido.

Como produzir pesquisa quantitativa que seja, ao mesmo tempo, metodologicamente rigorosa e teoricamente informada?

Teoria + dados + método + interpretação

Sem teoria Sem evidência em escala
Variáveis viram apenas colunas Desigualdades estruturais podem ficar invisíveis
Indicadores perdem significado Generalizações podem permanecer não testadas
Relações podem ser superinterpretadas Regularidades populacionais podem não aparecer

A estatística pode mostrar onde existe um padrão. A teoria ajuda a dizer o que ele significa.

Do quantitativo à pesquisa mista

Quantitativo
onde? quanto? para quem?
↔︎
Qualitativo
como? por quê? com que sentidos?
→
Métodos mistos
integração das evidências

Se nossas perguntas envolvem, ao mesmo tempo, padrões em larga escala e processos de aprendizagem, por que tratar quantitativo e qualitativo como caminhos concorrentes?

6. O que os dados revelam — e escondem?

Revelam

  • trajetórias distintas;
  • permanência e mobilidade entre quadrantes;
  • persistência de vulnerabilidades;
  • importância do ponto de partida;
  • heterogeneidade territorial;
  • diferenças entre dimensões das condições escolares.

Escondem

Os dados não mostram diretamente:

  • o que acontece na sala de aula;
  • como a infraestrutura é usada;
  • como professores e estudantes vivem essas condições;
  • por que escolas semelhantes percorrem trajetórias diferentes;
  • quais mecanismos produzem os padrões identificados.

A análise quantitativa localiza padrões. Outras abordagens podem ajudar a compreender os mecanismos que os produzem.

Do artigo ao doutorado

Condições escolares
→
Δ IDEB
→
Trajetórias
→
Nova inquietação

Até aqui, o desempenho aparece agregado em indicadores gerais. Mas que desigualdades podem existir dentro da própria aprendizagem matemática?

A partir daí surgem novas perguntas sobre:

  • habilidades;
  • processos matemáticos;
  • demandas cognitivas;
  • padrões de resposta;
  • proficiência global versus estrutura interna da aprendizagem.

Da proficiência global às habilidades

O artigo acompanha mudanças em indicadores escolares e no IDEB. Mas essa experiência de pesquisa produz uma nova inquietação:

Quando resumimos o desempenho matemático em uma medida global, que diferenças internas de aprendizagem podem desaparecer?

proficiência global
→
itens
→
habilidades
→
processos matemáticos
→
padrões de resposta

Essa passagem conecta o estudo longitudinal das condições escolares ao problema atual do doutorado: investigar desigualdades que podem existir dentro da própria estrutura da aprendizagem matemática, e não apenas entre escores globais.

Onde entra o R?

Pergunta
→
dados públicos
→
limpeza
→
integração
→
indicadores
visualização
→
modelagem
→
interpretação
→
nova pergunta

R não substitui a pergunta de pesquisa. Ele amplia aquilo que conseguimos fazer com ela.

O que fica como mensagem?

1
Dados são construídos, não apenas encontrados
2
Escala permite enxergar padrões e desigualdades
3
Modelos não substituem interpretação educacional
4
Toda resposta quantitativa pode gerar uma nova pergunta

O valor da pesquisa com dados não está apenas em produzir números mais sofisticados, mas em ampliar o repertório de perguntas que conseguimos formular sobre a Educação Matemática.

7. Galeria de resultados

Quadrantes

Transições

Região

Quadrante de origem

Condições × IDEB

Correlações

Modelos

Coeficientes

Fechamento

Uma escola que melhora suas condições também melhora seus resultados?

Às vezes. Mas os dados mostram que a relação é mais complexa do que a pergunta sugere.

Que perguntas da Educação Matemática ainda não estamos fazendo porque os métodos que usamos não nos permitem enxergá-las?


Mensagem final

Pesquisar com dados não é reduzir a educação a números.
É usar números para formular perguntas melhores sobre a educação.