Avaliação de Docentes da Universidade do Texas

Os dados foram coletados a partir das avaliações discentes de final de semestre de uma grande amostra de professores da Universidade do Texas em Austin. Além disso, seis estudantes avaliaram a aparência física dos professores. O resultado é um banco de dados no qual cada linha contém diferentes disciplinas e cada coluna representa as variáveis sobre as disciplinas e os professores. Os dados estão disponíveis aqui. As variáveis contidas nele são as seguintes:

library(dplyr, quietly=T)
library(ggplot2, quietly=T)

evals <- read.csv(file = "evals.csv", header=TRUE, sep=",")
score_and_avg <- evals %>% select(score, bty_avg)

Levantando suspeitas

summary(score_and_avg)
##      score          bty_avg     
##  Min.   :2.300   Min.   :1.667  
##  1st Qu.:3.800   1st Qu.:3.167  
##  Median :4.300   Median :4.333  
##  Mean   :4.175   Mean   :4.418  
##  3rd Qu.:4.600   3rd Qu.:5.500  
##  Max.   :5.000   Max.   :8.167

Analisando as colunas de score e bty_avg, é possível observar que as médias e medianas se encontram em valores que não possuem uma coerência entre as variáveis. A média e mediana para o score são bem próximas do valor máximo possível, enquanto que para a variável bty_avg, a média e mediana se encontram abaixo do valor médio possível.

A seguir os histogramas mostram a concentração das observações em seus respectivos valores.

#histograma da distribuicao dos scores
ggplot(score_and_avg, aes(score)) + geom_histogram() +  theme_bw()

Os scores estão mais concentrados em torno das notas máximas possíveis (perto de 4 e indo até 5).

#histograma da distribuicao das medias de aparência
ggplot(score_and_avg, aes(bty_avg)) + geom_histogram() + theme_bw()

As notas referentes a aparência se encontram mais dispersas, com um pico de observações próximo ao valor 4.

Outro indício de que a avaliação da aparência de um professor não explica bem (por si só) o score é a baixa correlação linear entre as variáveis em questão.

cor(score_and_avg$score, score_and_avg$bty_avg, method = "pearson")
## [1] 0.1871424

Por fim, foi aplicado o modelo de regressão para essas variáveis.

mod <- lm(score ~ bty_avg, data = score_and_avg)
summary(mod)
## 
## Call:
## lm(formula = score ~ bty_avg, data = score_and_avg)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -1.9246 -0.3690  0.1420  0.3977  0.9309 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  3.88034    0.07614   50.96  < 2e-16 ***
## bty_avg      0.06664    0.01629    4.09 5.08e-05 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.5348 on 461 degrees of freedom
## Multiple R-squared:  0.03502,    Adjusted R-squared:  0.03293 
## F-statistic: 16.73 on 1 and 461 DF,  p-value: 5.083e-05

A partir dos resultados obtidos nesta regressão, é possível verificar a seguinte conclusão: A variável bty_avg (avaliação da aparência do professor) para este modelo possui uma alta significância de que é pouco provável o fato de que não exista nenhuma relação entre a aparência de um professor e seu score na avaliação. Com o baixo R-quadrado, é possível concluir que as variáveis não estão bem correlacionadas. Mas mesmo assim vale lembrar que mesmo que um elevado R-quadrado indique uma boa correlação, correlação nem sempre implica em causalidade.

A seguir, o gráfico dos scores pela média de aparência e a reta gerada pela regressão.

ggplot(mod, aes(score, bty_avg)) + 
  geom_point() + geom_smooth(method="lm") + theme_bw()

MODELO SUGERIDO

Para tentar explicar os scores dos professores, serão utilizadas mais variáveis na regressão, onde estas foram escolhidas a partir das suspeitas de que elas possam influenciar na decisão da nota do professor.

vars_mod <- evals %>% select(score, rank, ethnicity, gender, language, age, cls_level, bty_avg)
summary(vars_mod)
##      score                 rank            ethnicity      gender   
##  Min.   :2.300   teaching    :102   minority    : 64   female:195  
##  1st Qu.:3.800   tenure track:108   not minority:399   male  :268  
##  Median :4.300   tenured     :253                                  
##  Mean   :4.175                                                     
##  3rd Qu.:4.600                                                     
##  Max.   :5.000                                                     
##         language        age        cls_level      bty_avg     
##  english    :435   Min.   :29.00   lower:157   Min.   :1.667  
##  non-english: 28   1st Qu.:42.00   upper:306   1st Qu.:3.167  
##                    Median :48.00               Median :4.333  
##                    Mean   :48.37               Mean   :4.418  
##                    3rd Qu.:57.00               3rd Qu.:5.500  
##                    Max.   :73.00               Max.   :8.167
library("GGally", quietly=TRUE)

ggpairs(select(vars_mod, rank, gender, age, bty_avg))

Através dos gráficos acima, é possível observar alguns comportamentos das variáveis quando combinadas umas com as outras. Detalhe para a correlação entre a variável bty_avg e age que é decrescente, indicando levemente que quanto maior a idade, menor é nota dada para aparência. Outro fato interessante sobre a amostra é o de os gêneros possuirem diferentes pontos de concentração das observações para idade, indicando que algum dos gêneros (masculino ou feminino) possui professores mais velhos que outros. Outro fato interessante é sobre o boxplot para o rank, onde existe um outlier com 60 anos, estando bem distante de onde a maioria dos professores da sua categoria estão localizados.

mod1 <- lm(score ~ rank + ethnicity + gender + language + age + cls_level + bty_avg, data = vars_mod)
summary(mod1)
## 
## Call:
## lm(formula = score ~ rank + ethnicity + gender + language + age + 
##     cls_level + bty_avg, data = vars_mod)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -1.8078 -0.3687  0.0960  0.4005  0.9202 
## 
## Coefficients:
##                        Estimate Std. Error t value Pr(>|t|)    
## (Intercept)            4.225529   0.206186  20.494  < 2e-16 ***
## ranktenure track      -0.173036   0.083732  -2.067 0.039344 *  
## ranktenured           -0.138459   0.062903  -2.201 0.028227 *  
## ethnicitynot minority  0.076376   0.075812   1.007 0.314260    
## gendermale             0.202036   0.052675   3.836 0.000143 ***
## languagenon-english   -0.160869   0.111524  -1.442 0.149862    
## age                   -0.007375   0.003179  -2.320 0.020777 *  
## cls_levelupper        -0.043154   0.053712  -0.803 0.422145    
## bty_avg                0.062796   0.016716   3.757 0.000195 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.5213 on 454 degrees of freedom
## Multiple R-squared:  0.09719,    Adjusted R-squared:  0.08128 
## F-statistic: 6.109 on 8 and 454 DF,  p-value: 1.732e-07

Através dos resultados obtidos para este modelo, é possível observar que algumas variáveis possuem mais significância que outras, e algumas não possuem significância alguma. As variáveis mais significativas encontradas para este modelo são a bty_avg e gender (o masculino), pois ambas indicam que é pouco provável o fato de que não exista nenhuma relação entre as mesmas com a variável score. Já as variáveis rank (tenure track e tenured) e age possuem baixa significância no modelo. Mesmo com a significância baixa, segundo o modelo, essas variáveis também influenciam na variável score. Mais uma vez com o baixo R-quadrado, é possível concluir que as variáveis não estão bem correlacionadas. Mas mesmo assim vale lembrar que mesmo que um elevado R-quadrado indique uma boa correlação, correlação nem sempre implica em causalidade.

Testando o modelo “sem aparência”

mod2 <- lm(score ~ rank + ethnicity + gender + language + age + cls_level, data = vars_mod)
summary(mod2)
## 
## Call:
## lm(formula = score ~ rank + ethnicity + gender + language + age + 
##     cls_level, data = vars_mod)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -1.78682 -0.36569  0.08421  0.41267  0.94756 
## 
## Coefficients:
##                        Estimate Std. Error t value Pr(>|t|)    
## (Intercept)            4.650174   0.174904  26.587  < 2e-16 ***
## ranktenure track      -0.179242   0.084914  -2.111 0.035328 *  
## ranktenured           -0.149691   0.063731  -2.349 0.019261 *  
## ethnicitynot minority  0.076364   0.076896   0.993 0.321199    
## gendermale             0.193261   0.053376   3.621 0.000327 ***
## languagenon-english   -0.154323   0.113106  -1.364 0.173112    
## age                   -0.010149   0.003136  -3.236 0.001301 ** 
## cls_levelupper        -0.044373   0.054479  -0.814 0.415792    
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.5288 on 455 degrees of freedom
## Multiple R-squared:  0.06913,    Adjusted R-squared:  0.05481 
## F-statistic: 4.827 on 7 and 455 DF,  p-value: 2.921e-05

Após o teste do modelo sem a variável bty_avg verificamos que as variáveis apresentaram a significância similar ao primeiro modelo, com exceção da variável age, que passou a possuir mais significância neste modelo. Detalhe para o R-quadrado que sofreu uma variação negativa de 3%.

Curiosidades

A nível de curiosidade, foi analisado as notas dadas pelos alunos referentes a aparência de um professor separadas por gênero, calculando a média dessas notas dadas por alunos do sexo masculino e feminino separadamente. Isso se deve pela desconfiança de que, em geral, mulheres são mais detalhistas do que homens para analisar a aparência de um indivíduo.

btys_avgs_m_and_f <- evals %>% select(bty_f1lower,bty_f1upper,bty_f2upper,bty_m1lower,bty_m1upper,bty_m2upper) 

btys_avgs_m_and_f$bty_avg_f = round((btys_avgs_m_and_f$bty_f1lower + btys_avgs_m_and_f$bty_f1upper +
                                 btys_avgs_m_and_f$bty_f2upper) / 3, digits=0)

btys_avgs_m_and_f$bty_avg_m = round((btys_avgs_m_and_f$bty_m1lower + btys_avgs_m_and_f$bty_m1upper +
                                 btys_avgs_m_and_f$bty_m2upper) / 3, digits=0)

O histograma abaixo mostra a distribuição das médias das notas referentes a aparência que os alunos do sexo masculino atribuiram aos professores.

#Histograma para notas da aparência por alunos
ggplot(data=btys_avgs_m_and_f, aes(bty_avg_m)) + geom_histogram(binwidth=0.5) + theme_bw()

É possível observar as colunas com média 3 e 4 em destaque pelo número de observações, onda ambas ultrapassam as 100 observações, representando grande parte dos valores observados, mostrando uma maior concentração em tais colunas.

O próximo histograma é referente a distribuição das médias das notas referentes a aparência que as alunos do sexo feminino atribuíram aos professores.

#Histograma para notas da aparência por alunas
ggplot(data=btys_avgs_m_and_f, aes(bty_avg_f)) + geom_histogram(binwidth=0.5) + theme_bw()

Diferentemente do histograma para os alunos do sexo masculino, as alunas possuem resultados mais diversificados, com três colunas de notas mais destacadas (em número de observações) e uma coluna a mais que o histograma anterior (a coluna 9), mostrando uma menor centralização das médias das notas para os professores. Esta diferença de quantidades entre os histogramas pode ser entendida como homens e mulheres utilizam diferentes critérios para avaliar a aparência de um indivídio, com a suspeita de que mulheres sejam mais detalhistas e considerem mais característas nas suas avaliações, chegando a resultados mais diversificados que os homens.

Ainda na investigação sobre como homens e mulheres analisam a aparência de um professor, foi calculado a correlação entre a variável score dos professores a as médias da aparência de um professor, separando-as pelo gêreno dos avaliadores (no caso, o gênero dos alunos).

vars_mod2 <- evals %>% select(score)
vars_mod2 <- cbind(vars_mod2,bty_avg_m= btys_avgs_m_and_f$bty_avg_m,bty_avg_f= btys_avgs_m_and_f$bty_avg_f)

cor(vars_mod2$score, vars_mod2$bty_avg_m, method="pearson")
## [1] 0.1365116
cor(vars_mod2$score, vars_mod2$bty_avg_f, method="pearson")
## [1] 0.2045505

O resultado para as correlações é interessante pois mesmo ambas possuindo baixos valores, a correlação com a média que as alunas deram é maior que a dos alunos.

Para finalizar, foi aplicada a regresssão para as mesmas variáveis iniciais, mas considerando a bty_avg separada por gênero (notas que alunos deram de notas que alunas deram).

vars_mod_m <- evals %>% select(score, rank, ethnicity, gender, language, age, cls_level)
vars_mod_m <- cbind(vars_mod_m, bty_avg_m= vars_mod2$bty_avg_m)

mod_m <- lm(score ~ rank + ethnicity + gender + language + age + cls_level + bty_avg_m, data=vars_mod_m)
summary(mod_m)
## 
## Call:
## lm(formula = score ~ rank + ethnicity + gender + language + age + 
##     cls_level + bty_avg_m, data = vars_mod_m)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -1.81798 -0.35251  0.08186  0.41482  0.89335 
## 
## Coefficients:
##                        Estimate Std. Error t value Pr(>|t|)    
## (Intercept)            4.413852   0.204812  21.551  < 2e-16 ***
## ranktenure track      -0.170458   0.084655  -2.014 0.044645 *  
## ranktenured           -0.142960   0.063540  -2.250 0.024932 *  
## ethnicitynot minority  0.082569   0.076629   1.078 0.281820    
## gendermale             0.189861   0.053176   3.570 0.000394 ***
## languagenon-english   -0.146539   0.112691  -1.300 0.194137    
## age                   -0.008605   0.003202  -2.688 0.007456 ** 
## cls_levelupper        -0.041460   0.054269  -0.764 0.445282    
## bty_avg_m              0.037258   0.016988   2.193 0.028801 *  
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.5266 on 454 degrees of freedom
## Multiple R-squared:  0.07889,    Adjusted R-squared:  0.06266 
## F-statistic:  4.86 on 8 and 454 DF,  p-value: 9.112e-06

O modelo acima diz respeito aos resultados considerando as médias das notas que os alunos do sexo masculino atribuiram aos professores. Ainda é possível observar a significância da variável da “aparência” (bty_avg_m), porém esta agora é bem menos significativa que a variável considerando alunos e alunas. O R-quadrado também sofreu um decréscimo.

vars_mod_f <- evals %>% select(score, rank, ethnicity, gender, language, age, cls_level)
vars_mod_f <- cbind(vars_mod_f, bty_avg_f= vars_mod2$bty_avg_f)
mod_f <- lm(score ~ rank + ethnicity + gender + language + age + cls_level + bty_avg_f, data=vars_mod_f)
summary(mod_f)
## 
## Call:
## lm(formula = score ~ rank + ethnicity + gender + language + age + 
##     cls_level + bty_avg_f, data = vars_mod_f)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -1.7598 -0.3661  0.0931  0.3922  0.9460 
## 
## Coefficients:
##                        Estimate Std. Error t value Pr(>|t|)    
## (Intercept)            4.198282   0.197832  21.221  < 2e-16 ***
## ranktenure track      -0.194828   0.083195  -2.342   0.0196 *  
## ranktenured           -0.142801   0.062407  -2.288   0.0226 *  
## ethnicitynot minority  0.076011   0.075277   1.010   0.3132    
## gendermale             0.213363   0.052437   4.069 5.57e-05 ***
## languagenon-english   -0.152038   0.110724  -1.373   0.1704    
## age                   -0.007604   0.003120  -2.437   0.0152 *  
## cls_levelupper        -0.048288   0.053339  -0.905   0.3658    
## bty_avg_f              0.068075   0.014929   4.560 6.59e-06 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.5176 on 454 degrees of freedom
## Multiple R-squared:  0.1099, Adjusted R-squared:  0.09421 
## F-statistic: 7.006 on 8 and 454 DF,  p-value: 9.881e-09

Já neste modelo seguinte, o resultado obtido é um pouco diferente do anterior. A variável da “aparência” ( bty_avg_f) se manteve com alta significância, com o p_valor bem mais baixo que o observado para o grupo de alunos e com o R-quadrado um pouco mais elevado.

Com isso, é possível concluir que: a aparência é um fator que, mesmo que pouco, pesa na avaliação dos docentes feita pelos alunos. Contúdo, é relevante dizer que, para alunos do sexo feminino, o fator aparência é mais significativo para descrever as notas dadas aos professores na avaliação geral da universidade.