Neste trabalho, procura-se responder duas perguntas a respeito dos estudantes do quinto ano respondentes do SAEB 2020:
O delineamento da análise é descrito a seguir.
A análise realizada para responder às perguntas de interesse seguem os passos seguintes, cujo objetivo é identificar se há diferenças entre os grupos de interesse - região geográfica e uso do tempo de tela. Inicia-se com análise descritiva para elaboração das hipóteses a serem testadas. Em seguida testa-se normalidade e homocedasticidade com o objetivo de determinar qual teste de comparação de média ou posição deverá ser realizado. Por fim, são realizados testes de comparação múltipla, caso seja identificada diferença entre grupos dos testes anteriores, para determinar quais grupos diferem.
Obtém-se inicialmente medidas de posição e variabilidade para as notas de matemática, agregadas por região brasileira, expostas na tabela 1 a seguir.
| Região | Média | Mediana | DP | IIQ | Assimetria |
|---|---|---|---|---|---|
| Norte | 205.125 | 194.640 | 44.185 | 48.027 | 0.925 |
| Nordeste | 207.794 | 201.949 | 46.269 | 55.699 | 0.657 |
| Sudeste | 230.727 | 229.973 | 40.865 | 55.875 | 0.050 |
| Sul | 236.201 | 233.905 | 36.630 | 53.400 | -0.079 |
| Centro-Oeste | 219.255 | 220.241 | 30.310 | 50.869 | -0.008 |
| Fonte: INEP - SAEB (2017) |
As distribuições das notas de matemática agregadas por macrorregião brasileira são expostas na figura 1 a seguir.
Figura 1: boxplot de notas de matemática por região
Pela figura e pelas medidas descritivas, é possível supor que as regiões Sul e Sudeste demonstram maior desempenho médio em matemática do que as regiões Norte e Nordeste enquanto a região Centro-Oeste aparenta estar em patamar intermediário.
Medidas de posição e variabilidade para as notas de língua portuguesa, agregadas por classes de tempo de tela são expostas na tabela 2 a seguir.
| Tempo de tela | Média | Mediana | DP | IIQ | Assimetria |
|---|---|---|---|---|---|
| Menos de 1 hora | 206.947 | 202.180 | 46.723 | 66.574 | 0.187 |
| Entre 1 e 2 horas | 216.336 | 214.123 | 47.106 | 62.972 | 0.161 |
| Entre 2 e 3 horas | 215.248 | 217.406 | 42.776 | 64.301 | 0.064 |
| Mais de 3 horas | 191.286 | 182.859 | 53.195 | 66.799 | 0.704 |
| Fonte: INEP - SAEB (2017) |
Na figura 2 a seguir são expostas as distribuições das notas de Língua Portuguesa agregadas por categorias de tempo gasto assistindo à TV, navegando na internet ou jogando jogos eletrônicos em dias de aula.
Figura 2: boxplot de notas de língua portuguesa por classes de tempo de tela
Pela figura e pelas medidas descritivas, supõe-se que estudantes com mais de três horas de exposição a telas tenham desempenho aquém dos demais.
Para ambas as comparações, as distribuições parecem simétricas, a menos de poucos outliers. Por esse motivo, são removidos as observações pertencentes aos 2.5% extremos das notas de matemática.
Finalmente, as hipóteses elaboradas em relação à primeira pergunta são as seguintes:
\[\begin{equation} \begin{cases} H_0: \text{não há diferença de desempenho em matemática entre as regiões brasileiras}\\ H_1: \text{pelo menos uma região brasileira apresenta desempenho diferente das demais}\\ \end{cases} \end{equation}\]
Para a segunda perguinta, são elaboradas as hipóteses a seguir:
\[\begin{equation} \begin{cases} H_0: \text{não há diferença de desempenho em língua portuguesa entre grupos de tempo de tela}\\ H_1: \text{pelo menos um grupo de tempo de tela apresenta desempenho diferente dos demais}\\ \end{cases} \end{equation}\]
Em seguida, são realizados testes de homocedasticidade entre os agrupamentos de interesse, método Bartlett e Levene, considerando resultados anteriores de testes de normalidade para a amostra que apontam para normalidade. Neste caso, o método Bartlett é mais recomendado, mas ambos são realizados para comparação. A tabela 3 a seguir sintetiza esses resultados.
| Disciplina | Método | p-valor |
|---|---|---|
| Matemática | Levene | 0.572 |
| Matemática | Bartlett | 0.510 |
| L. Portuguesa | Levene | 0.544 |
| L. Portuguesa | Bartlett | 0.363 |
| Fonte: INEP - SAEB (2017) |
Os resultados dos testes de homocedasticidade indicam que não haveria diferenças entre as variâncias das notas entre os grupos de cada fator - região brasileira ou tempo de tela.
Em sequência, são realizados testes de comparações entre várias populações. Neste caso, como se tratam medidas contínuas de populações cujas distribuições podem ser descritas por uma Normal e são homocedásticas em termos dos agrupamentos de seus fatores correspondentes, prefere-se a Análise de Variância (ANOVA). No entanto, testes não-paramétricos de Kruska-Wallis também são realizados para se comparar os métodos.
A tabela 4 a seguir sintetiza os resultados das análises de variância.
| Fator | Fonte | g.l. | SQ | Quadrado Médio | F | p-valor |
|---|---|---|---|---|---|---|
| Região | Dentro dos grupos | 4 | 71724.47 | 17931.116 | 10.517 | < 0.001 |
| Região | Entre grupos | 495 | 843896.74 | 1704.842 | ||
| Tempo | Dentro dos grupos | 3 | 18623.92 | 6207.972 | 2.983 | 0.031 |
| Tempo | Entre grupos | 496 | 1032094.13 | 2080.835 | ||
| Fonte: INEP - SAEB (2017) |
As ANOVA indicam, portanto, que ao nível de significância de 5% há pelo menos um grupo cujo desempenho médio difere dos demais tanto para notas de matemática agregadas por região brasileira quanto para notas de língua portuguesa agregadas por tempo de exposição a telas em dias de aula. Testes de Kruskal-Wallis apontam na mesma direção, visto que seus p-valor respectivos são <0.001 e 0.025 respectivamente.
Finalmente, considerando os resultados dos testes anteriores, realiza-se testes de comparações múltiplas para identificar quais grupos diferem entre si.
A tabela 5 a seguir sintetiza os resultados das comparações múltiplas por testes t, utilizando o ajuste Bonferroni de nível de significância, para as notas de matemática agregadas por macrorregião brasileira.
| grupo i | grupo j | p-valor |
|---|---|---|
| Nordeste | Norte | 1 |
| Sudeste | Norte | < 0.001 |
| Sudeste | Nordeste | < 0.001 |
| Sul | Norte | < 0.001 |
| Sul | Nordeste | < 0.001 |
| Sul | Sudeste | 1 |
| Centro-Oeste | Norte | 1 |
| Centro-Oeste | Nordeste | 1 |
| Centro-Oeste | Sudeste | 1 |
| Centro-Oeste | Sul | 0.388 |
| Fonte: INEP - SAEB (2017) |
Em consonância com a hipótese alternativa elaborada, Sudeste e Sul apresentam diferenças significativas em relação a Norte e Nordeste a nível de significância de 5%. Conjugando-se com a análise descritiva, pode-se dizer que as primeiras regiões apresentam notas médias de matemática superiores às segundas.
A tabela 6 a seguir expõe testes de comparações múltiplas pelo método Wilcoxon.
| grupo i | grupo j | p-valor |
|---|---|---|
| Nordeste | Norte | 0.747 |
| Sudeste | Norte | < 0.001 |
| Sudeste | Nordeste | < 0.001 |
| Sul | Norte | < 0.001 |
| Sul | Nordeste | < 0.001 |
| Sul | Sudeste | 0.547 |
| Centro-Oeste | Norte | 0.13 |
| Centro-Oeste | Nordeste | 0.174 |
| Centro-Oeste | Sudeste | 0.312 |
| Centro-Oeste | Sul | 0.114 |
| Fonte: INEP - SAEB (2017) |
É possível, portanto, apresentar conclusões idêntias àquelas apresentadas pela análise da tabela 3, considerando o mesmo nível de significância.
O mesmo procedimento é realizado a seguir para as notas de língua portuguesa agregadas por tempo de exposição a telas em dias de aula. Resultados das comparações múltiplas são apresentados nas tabelas 7 e 8 a seguir.
| grupo i | grupo j | p-valor |
|---|---|---|
| Entre 1 e 2 horas | Menos de 1 hora | 0.54 |
| Entre 2 e 3 horas | Menos de 1 hora | 0.54 |
| Entre 2 e 3 horas | Entre 1 e 2 horas | 1.00 |
| Mais de 3 horas | Menos de 1 hora | 0.71 |
| Mais de 3 horas | Entre 1 e 2 horas | 0.09 |
| Mais de 3 horas | Entre 2 e 3 horas | 0.09 |
| Fonte: INEP - SAEB (2017) |
| grupo i | grupo j | p-valor |
|---|---|---|
| Entre 1 e 2 horas | Menos de 1 hora | 0.33 |
| Entre 2 e 3 horas | Menos de 1 hora | 0.33 |
| Entre 2 e 3 horas | Entre 1 e 2 horas | 0.94 |
| Mais de 3 horas | Menos de 1 hora | 0.33 |
| Mais de 3 horas | Entre 1 e 2 horas | 0.07 |
| Mais de 3 horas | Entre 2 e 3 horas | 0.07 |
| Fonte: INEP - SAEB (2017) |
Enquanto os testes para comparação de médias ou medidas de posição de várias populações indicam que há diferença significativa entre os desempenhos em língua portuguesa dos diversos grupos de tempo de exposição a tela considerando nível de significância de 5%, os testes de comparações múltiplas exigem alargamento do nível de significância para se dizer o mesmo.
De fato, é possível afirmar que os estudantes que gastam mais de 3 horas assistindo à TV, navegando na internet ou jogando jogos eletrônicos em dias de aula apresentam desmpenhos em língua portuguesa inferiores aos grupos que gastam entre 1 e 3 horas nestas atividades. Para tanto é necessário assumir, no mínimo, nível de significância de 7%.
BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP). Escalas de proficiência do SAEB. Brasília, DF: INEP, 2020.