Aprofunda-se o estudo sobre os resultados do Sistema de Avaliação da Educação Básica (SAEB) de 2017 para estudantes do quinto ano, desta vez comparando populações duas a duas.
Esta etapa do estudo objetiva responder três perguntas, listadas no tópico a seguir, utilizando sub-amostras de um conjunto de 2000 observações aleatoriamente amostradas da população de respondentes.
Neste estudo serão respondidas três perguntas:
As primeiras duas perguntas são atendidas no tópico seguinte considerando dois tamanhos de amostra - 30 e 100. Neste momento as categorias administrativas das escolas, que correspondem às três esferas de governo, foram aglutinadas resultando em apenas duas: Municipal e Demais, compreendendo Estadual e Federal.
A última pergunta é respondida em seguida, utilizando a amostra gerada de tamanho 30, sem alterações nas variáveis utilizadas.
Para atingir os objetivos do estudo, serão utilizados cinco testes de hipóteses, quais sejam:
As amostras obtidas para a realização da análise descritiva e testes de hipóteses a seguir são amostras aleatórias obtidas a partir de uma amostra de tamanho 2000 de estudantes que realizaram a prova SAEB.
A primeira pergunta que se deseja responder é se há associação entre a localização da escola do estudante e sua nota em matemática. Enquanto a nota é uma medida numérica contínua, a localização assume apenas dois valores, dividindo os alunos em duas categorias: alunos de escolas urbanas e alunos de escolas rurais. Esta análise será realizada primeiro para uma amostra de tamanho 30 e em seguida para uma amostra de tamanho 100.
A Tabela 1 a seguir exibe medidas descritivas das notas de matemática para a amostra de tamanho 30, agregadas por localização da escola.
| Localização | Freq. | Média | Mediana | DP | Assimetria | Curtose |
|---|---|---|---|---|---|---|
| Urbana | 26 | 238.76 | 242.64 | 43.54 | 0.80 | 0.29 |
| Rural | 4 | 186.21 | 163.73 | 58.04 | 0.65 | -1.76 |
| Fonte: INEP - SAEB (2017) |
É possível observar uma predominância de estudantes de escolas urbanas, com medidas de posição das notas superiores àquelas das escolas rurais, mais concentradas em torno de sua média e com uma maior assimetria positiva, o que indica maiores notas extremas. No grupo rural, há menor assimetria positiva e curtose negativa, indicando distribuição mais uniformizada.
A figura 1 a seguir ilustra a distribuição dessas notas. No boxplot, o losango indica a posição da média em relação à mediana, barra intermediária da caixa.
Figura 1: Boxplot para notas de matemática em amostra de tamanho 30
A distribuição empírica das notas de matemática desses grupos pode ser visualizada na figura 2 a seguir:
Figura 2: Distribuição empírica de notas de matemática em amostra de tamanho 30
A distribuição das notas aponta para as notas da população rural serem estocasticamente menores que as notas da população urbana.
A Tabela 2 a seguir exibe medidas descritivas das notas de matemática para a amostra de tamanho 100.
| Localização | Freq. | Média | Mediana | DP | Assimetria | Curtose |
|---|---|---|---|---|---|---|
| Urbana | 91 | 222.00 | 221.49 | 42.56 | 0.21 | -0.56 |
| Rural | 9 | 201.24 | 205.72 | 23.72 | -0.46 | -1.05 |
| Fonte: INEP - SAEB (2017) |
Assim como na amostra anterior, a população rural tem baixa representatividade. As medidas de posição, no entanto, são mais próximas comparadas à amostra menor. Um contraste ocorre em relação à variabilidade, caso em que a população urbana apresenta maior dispersão. Ambas as populações têm curtose negativa, indicando uma curva de distribuição mais achatada, e assimetrias opostas, sinalizando uma maior concentração de notas à esquerda na população urbana e uma maior concentração de notas à direita na população rural.
A figura 3 a seguir ilustra a distribuição dessas notas.
Figura 3: Boxplot para notas de matemática em amostra de tamanho 100
A distribuição empírica das notas de matemática desses grupos pode ser visualizada na figura 4 a seguir:
Figura 4: Distribuição empírica de notas de matemática em amostra de tamanho 100
A distribuição das notas aponta que as distribuições das notas das populações urbana e rural são pelo menos diferentes.
A partir da análise descritiva das distribuições das notas elabora-se para ambas as amostras as seguintes hipóteses, considerando possível associação entre a localização da escola e desempenho em matemática:
\[\begin{equation} \begin{cases} H_0: \text{A população rural apresenta nota maior ou igual à urbana}\\ H_1: \text{A população rural apresenta nota menor que a urbana}\\ \end{cases} \end{equation}\]
Para se realizar os testes de hipótese adequados, são realizados testes preliminares de normalidade e de homocedasticidade. A tabela 3 a seguir sintetiza resultados dos testes para normalidade para cada amostra.
| Tamanho da amostra | p-valor |
|---|---|
| 30 | 0.44 |
| 100 | 0.29 |
| Fonte: INEP - SAEB (2017) |
Conclui-se portanto que as notas de matemática podem ser descritas por distribuições normais.
A tabela 4 a seguir sintetiza resultados dos testes de variância para cada amostra.
| Tamanho da amostra | p-valor |
|---|---|
| 30 | 0.35 |
| 100 | 0.08 |
| Fonte: INEP - SAEB (2017) |
Os testes de variância indicam que as variâncias são iguais em ambas as amostras.
Considerando os testes preliminares, serão realizados testes de hipótese para populações normais e de variâncias iguais. A tabela 5 sintetiza os diferentes testes de hipóteses para a amostra de tamanho 30.
| Teste | p-valor |
|---|---|
| t-Student | 0.08 |
| Kolmogorov-Smirnov | 0.03 |
| Mann-Whitney | 0.04 |
| Fonte: INEP - SAEB (2017) |
Considerando nível de significância \(\alpha = 0.05\), dois dos três testes apontam para a rejeição da hipótese nula, o que implica em dizer que as notas das escolas rurais são, em geral, menores do que as notas das escolas urbanas. Não se pode dizer, no entanto, que a média das escolas rurais é menor do que as urbanas.
A tabela 6 sintetiza os mesmos testes de hipótese para a amostra de tamanho 100.
| Teste | p-valor |
|---|---|
| t-Student | 0.02 |
| Kolmogorov-Smirnov | 0.06 |
| Mann-Whitney | 0.06 |
| Fonte: INEP - SAEB (2017) |
Considerando nível de significância \(\alpha = 0.05\), dois dos três testes apontam para a aceitação da hipótese nula a p-valor marginal, o que implica em dizer que as notas das escolas rurais são, em geral, não são menores do que as notas das escolas urbanas. Em comparação, o teste de comparação de médias indica que a média de notas das escolas rurais é estatisticamente menor do que a média de notas das escolas urbanas.
A segunda pergunta que se deseja responder é se há associação entre a categoria administrativa da escola do estudante e sua nota em língua portuguesa. A nota é uma medida numérica contínua 1 a categoria divide os alunos em duas categorias: alunos de escolas municipais e alunos de escolas das demais esferas. Esta análise será realizada primeiro para uma amostra de tamanho 30 e em seguida para uma amostra de tamanho 100.
A Tabela 7 a seguir exibe medidas descritivas das notas de língua portuguesa para a amostra de tamanho 30, agregadas por categoria administrativa da escola.
| Cat. Adm. | Freq. | Média | Mediana | DP | Assimetria | Curtose |
|---|---|---|---|---|---|---|
| Municipal | 22 | 229.40 | 223.40 | 46.99 | 0.06 | -0.19 |
| Outras | 8 | 244.03 | 240.84 | 47.14 | 0.28 | -1.56 |
| Fonte: INEP - SAEB (2017) |
É possível observar uma predominância de estudantes de escolas municipais, com medidas de posição das notas inferiores às demais, com dispersões similares e com uma menor assimetria positiva, o que indica maiores notas extremas nas escolas não municipais. Nas escolas não municipais, há curtose mais negativa, o que indica uma curva mais achatada de distribuição das notas.
A figura 5 a seguir ilustra a distribuição dessas notas. No boxplot, o losango indica a posição da média em relação à mediana, barra intermediária da caixa.
Figura 5: Boxplot para notas de língua portuguesa em amostra de tamanho 30
A distribuição empírica das notas de língua portuguesa desses grupos pode ser visualizada na figura 6 a seguir:
Figura 6: Distribuição empírica de notas de língua portuguesa em amostra de tamanho 30
A distribuição das notas aponta para distribuições similares de notas em língua portuguesa para ambas as categorias administrativas.
A Tabela 8 a seguir exibe medidas descritivas das notas de matemática para a amostra de tamanho 100.
| Cat. Adm. | Freq. | Média | Mediana | DP | Assimetria | Curtose |
|---|---|---|---|---|---|---|
| Municipal | 75 | 208.33 | 205.26 | 47.81 | 0.17 | -0.86 |
| Outras | 25 | 209.01 | 208.66 | 49.98 | 0.10 | -0.35 |
| Fonte: INEP - SAEB (2017) |
Assim como na amostra anterior, a população municipal tem maior representatividade. Todas as demais medidas são muito similares. Ambas as distribuições apresentam certa simetria e são levemente platifúrticas.
A figura 7 a seguir ilustra a distribuição dessas notas.
Figura 7: Boxplot para notas de língua portuguesa em amostra de tamanho 100
A distribuição empírica das notas de matemática desses grupos pode ser visualizada na figura 8 a seguir:
Figura 8: Distribuição empírica de notas de língua portuguesa em amostra de tamanho 100
A distribuição acumulada das notas aponta distribuições similares das notas das populações.
A partir da análise descritiva das distribuições das notas elabora-se para ambas as amostras as seguintes hipóteses, considerando possível associação entre a categoria administrativa da escola e desempenho em límgua portuguesa:
\[\begin{equation} \begin{cases} H_0: \text{A população municipal apresenta nota igual às demais}\\ H_1: \text{A população municipal apresenta nota diferente às demais}\\ \end{cases} \end{equation}\]
Para se realizar os testes de hipótese adequados, são realizados testes preliminares de normalidade e de homocedasticidade. A tabela 9 a seguir sintetiza resultados dos testes preliminares para cada amostra.
| Tamanho da amostra | p-valor |
|---|---|
| 30 | 0.63 |
| 100 | 0.33 |
| Fonte: INEP - SAEB (2017) |
Conclui-se portanto que as notas de língua portuguesa podem ser descritas por distribuições normais.
A tabela 10 a seguir sintetiza resultados dos testes de variância para cada amostra.
| Tamanho da amostra | p-valor |
|---|---|
| 30 | 0.91 |
| 100 | 0.75 |
| Fonte: INEP - SAEB (2017) |
Os testes de variância indicam que as variâncias são iguais em ambas as amostras.
Considerando os testes preliminares, serão realizados testes de hipótese para populações normais e de variâncias iguais. A tabela 11 sintetiza os diferentes testes de hipóteses para a amostra de tamanho 30.
| Teste | p-valor |
|---|---|
| t-Student | 0.47 |
| Kolmogorov-Smirnov | 0.89 |
| Mann-Whitney | 0.60 |
| Fonte: INEP - SAEB (2017) |
Considerando nível de significância \(\alpha = 0.05\), não se rejeita a hipótese nula para nenhum dos testes. Isto significa que não é possível dizer que as distribuições e médias dessas populações são diferentes.
A tabela 12 sintetiza os mesmos testes de hipótese para a amostra de tamanho 100.
| Teste | p-valor |
|---|---|
| t-Student | 0.95 |
| Kolmogorov-Smirnov | 0.94 |
| Mann-Whitney | 0.95 |
| Fonte: INEP - SAEB (2017) |
Assim como ocorre para as amostras de tamanho 30, não se rejeita a hipótese nula avaliada em nível de significância \(\alpha = 0.05\) em nenhum dos testes. Isto equivale a dizer que as notas em língua portuguesa não são estatísticamente diferentes quando separadas em escolas municipais e demais escolas.
Por último, deseja-se verificar se há diferença, na amostra de tamanho 30, entre as notas de língua portuguesa e as notas de matemática, independente de alguma variável categórica. Para isso, serão utilizados o teste t de Student, o teste de postos sinalizados de Wilcoxon e o teste dos sinais - todos executados considerando amostras pareadas. Além disso, considera-se os resultados prévios de normalidade e de homocedasticidade para a mesma amostra.
A Tabela 13 a seguir exibe medidas descritivas das notas de matemática e de língua portuguesa para a amostra de tamanho 30.
| Disciplina | Média | Mediana | DP | Assimetria | Curtose |
|---|---|---|---|---|---|
| Matemática | 231.75 | 227.58 | 48.09 | 0.44 | -0.04 |
| Língua Portuguesa | 233.30 | 227.09 | 46.68 | 0.11 | -0.32 |
| Fonte: INEP - SAEB (2017) |
É possível observar que as medidas descritivas das duas disciplinas são similares.
A figura 9 a seguir ilustra a distribuição dessas notas. No boxplot, o losango indica a posição da média em relação à mediana, barra intermediária da caixa.
Figura 9: Boxplot para notas de língua portuguesa e matemática em amostra de tamanho 30
A partir da análise descritiva das distribuições das notas elabora-se as seguintes hipóteses:
\[\begin{equation} \begin{cases} H_0: \text{As disciplinas apresentam médias ou distribuições iguais}\\ H_1: \text{As disciplinas apresentam médias ou distribuições iguais}\\ \end{cases} \end{equation}\]
A tabela 13 a seguir sintetiza os resultados dos testes de hipótese.
| Teste | p-valor |
|---|---|
| t-Student | 0.87 |
| Wilcoxon | 0.73 |
| Sinais | 0.58 |
| Fonte: INEP - SAEB (2017) |
A partir dos testes de hipótese realizados, conclui-se que não é possível afirmar que as notas de língua portuguesa e de matemática apresentam médias ou distribuições significativamente diferentes.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Escalas de proficiência do SAEB. Brasília, DF: INEP, 2020.
CONOVER, William Jay. “Practical nonparametric statistics”. Ed. Wiley, 1999.
D’AGOSTINO Ralph B.; STEPHENS Michael A. “Goodness-of-fit techniques” Ed. CRC Press, 1986.