Regressão linear na prática

Dados da CAPES sobre avaliação da pós-graduação

A CAPES é um órgão do MEC que tem a atribuição de acompanhar a pós-graduação na universidade brasileira. Uma das formas que ela encontrou de fazer isso e pela qual ela é bastante criticada é através de uma avaliação quantitativa a cada x anos (era 3, mudou para 4).

Usaremos dados da penúltima avaliação da CAPES:

cacc_tudo = read_projectdata()

glimpse(cacc_tudo)

Rows: 73
Columns: 31
$ Instituição                  <chr> "UNIVERSIDADE FEDERAL DO AMAZONAS", "UNIVERSIDADE FE…
$ Programa                     <chr> "INFORMÁTICA (12001015012P2)", "CIÊNCIA DA COMPUTAÇÃ…
$ Nível                        <int> 5, 4, 3, 3, 3, 5, 4, 3, 3, 3, 5, 3, 3, 3, 4, 6, 3, 3…
$ Sigla                        <chr> "UFAM", "UFPA", "UFMA", "UEMA", "FUFPI", "UFC", "UNI…
$ `Tem doutorado`              <chr> "Sim", "Sim", "Não", "Não", "Não", "Sim", "Sim", "Nã…
$ `Docentes colaboradores`     <dbl> 0.25, 5.50, 3.00, 6.25, 1.75, 2.00, 1.00, 6.25, 2.75…
$ `Docentes permanentes`       <dbl> 24.75, 14.00, 10.00, 14.00, 9.50, 20.75, 16.00, 15.7…
$ `Docentes visitantes`        <dbl> 0.00, 0.00, 0.00, 0.00, 0.00, 0.75, 0.50, 1.00, 0.50…
$ `Resumos em conf`            <int> 20, 23, 15, 5, 4, 10, 6, 136, 0, 24, 27, 4, 30, 20, …
$ `Resumos expandidos em conf` <int> 25, 24, 7, 10, 1, 68, 9, 13, 4, 6, 16, 5, 25, 29, 28…
$ `Artigos em conf`            <int> 390, 284, 115, 73, 150, 269, 179, 0, 120, 92, 389, 6…
$ Dissertacoes                 <int> 108, 77, 50, 25, 31, 75, 60, 129, 45, 3, 108, 12, 94…
$ Teses                        <int> 14, 0, 0, 0, 0, 24, 5, 0, 0, 0, 29, 0, 0, 0, 40, 144…
$ periodicos_A1                <int> 15, 19, 5, 1, 7, 21, 21, 0, 3, 8, 44, 0, 6, 21, 20, …
$ periodicos_A2                <int> 19, 21, 11, 1, 4, 32, 13, 0, 9, 2, 23, 2, 6, 20, 15,…
$ periodicos_B1                <int> 19, 38, 7, 3, 6, 26, 16, 2, 6, 4, 32, 4, 2, 11, 29, …
$ periodicos_B2                <int> 1, 12, 2, 6, 0, 0, 11, 0, 0, 2, 1, 0, 0, 4, 1, 10, 6…
$ periodicos_B3                <int> 3, 16, 2, 2, 3, 16, 15, 0, 4, 6, 9, 0, 2, 6, 16, 20,…
$ periodicos_B4                <int> 0, 4, 0, 3, 3, 0, 1, 3, 1, 6, 0, 0, 4, 5, 1, 3, 3, 5…
$ periodicos_B5                <int> 10, 16, 8, 4, 12, 4, 16, 2, 6, 2, 11, 0, 4, 16, 9, 2…
$ periodicos_C                 <int> 9, 34, 12, 5, 2, 3, 11, 9, 5, 10, 16, 1, 14, 28, 8, …
$ periodicos_NA                <int> 7, 15, 8, 11, 12, 6, 19, 31, 7, 14, 19, 0, 27, 26, 1…
$ per_comaluno_A1              <int> 4, 1, 0, 0, 1, 7, 5, 0, 1, 0, 10, 0, 0, 2, 8, 63, 1,…
$ per_comaluno_A2              <int> 5, 5, 5, 0, 2, 15, 3, 0, 3, 0, 3, 0, 0, 1, 11, 22, 0…
$ per_comaluno_B1              <int> 4, 2, 5, 2, 2, 14, 6, 0, 2, 0, 17, 0, 1, 5, 18, 37, …
$ per_comaluno_B2              <int> 0, 1, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 4, 0, 0…
$ per_comaluno_B3              <int> 2, 2, 0, 1, 0, 7, 9, 0, 2, 0, 4, 0, 0, 1, 10, 12, 0,…
$ per_comaluno_B4              <int> 0, 0, 0, 0, 2, 0, 1, 0, 1, 3, 0, 0, 2, 0, 0, 2, 0, 2…
$ per_comaluno_B5              <int> 5, 0, 4, 0, 8, 3, 6, 0, 4, 0, 4, 0, 2, 5, 3, 17, 1, …
$ per_comaluno_C               <int> 6, 5, 3, 1, 2, 3, 7, 1, 2, 4, 8, 0, 11, 3, 8, 13, 4,…
$ per_comaluno_NA              <int> 6, 14, 2, 2, 9, 3, 6, 4, 5, 1, 10, 0, 17, 6, 7, 17, …

Produção e produtividade de artigos

Uma das maneiras de avaliar a produção dos docentes que a CAPES utiliza é quantificando a produção de artigos pelos docentes. Os artigos são categorizados em extratos ordenados (A1 é o mais alto), e separados entre artigos em conferências e periódicos. Usaremos para esse lab a produção em periódicos avaliados com A1, A2 e B1.

cacc = cacc_tudo %>%
  transmute(
    docentes = `Docentes permanentes`,
    producao = (periodicos_A1 + periodicos_A2 + periodicos_B1),
    produtividade = producao / docentes,
    mestrados = Dissertacoes,
    doutorados = Teses,
    tem_doutorado = tolower(`Tem doutorado`) == "sim",
    mestrados_pprof = mestrados / docentes,
    doutorados_pprof = doutorados / docentes
  )

cacc_md = cacc %>% 
  filter(tem_doutorado)

EDA

skimr::skim(cacc)

── Data Summary ────────────────────────
                           Values
Name                       cacc  
Number of rows             73    
Number of columns          8     
_______________________          
Column type frequency:           
  logical                  1     
  numeric                  7     
________________________         
Group variables            None  

cacc %>% 
  ggplot(aes(x = docentes)) + 
  geom_histogram(bins = 15, fill = paleta[1])

cacc %>% 
  ggplot(aes(x = producao)) + 
  geom_histogram(bins = 15, fill = paleta[2])

cacc %>% 
  ggplot(aes(x = produtividade)) + 
  geom_histogram(bins = 15, fill = paleta[3])

Se quisermos modelar o efeito do tamanho do programa em termos de docentes (permanentes) na quantidade de artigos publicados, podemos usar regressão.

Importante: sempre queremos ver os dados antes de fazermos qualquer modelo ou sumário:

cacc %>% 
  ggplot(aes(x = docentes, y = producao)) + 
  geom_point()

Parece que existe uma relação. Vamos criar um modelo então:

modelo1 = lm(producao ~ docentes, data = cacc)

tidy(modelo1, conf.int = TRUE, conf.level = 0.95)

glance(modelo1)

Para visualizar o modelo:

cacc_augmented = cacc %>% 
  add_predictions(modelo1) 

cacc_augmented %>% 
  ggplot(aes(x = docentes)) + 
  geom_line(aes(y = pred), colour = "brown") + 
  geom_point(aes(y = producao)) + 
  labs(y = "Produção do programa")

Se considerarmos que temos apenas uma amostra de todos os programas de pós em CC no Brasil, o que podemos inferir a partir desse modelo sobre a relação entre número de docentes permanentes e produção de artigos em programas de pós?

Normalmente reportaríamos o resultado da seguinte maneira, substituindo VarIndepX e todos os x’s e y’s pelos nomes e valores de fato:

Regressão múltipla foi utilizada para analisar se VarIndep1 e VarIndep2 tem uma associação significativa com VarDep. Os resultados da regressão indicam que um modelo com os 2 preditores no formato VarDep = XXX.VarIndep1 + YYY.VarIndep2 explicam XX,XX% da variância da variável de resposta (R2 = XX,XX). VarIndep1, medida como/em [unidade ou o que é o 0 e o que é 1] tem uma relação significativa com o erro (b = [yy,yy; zz,zz], IC com 95%), assim como VarIndep2 medida como [unidade ou o que é o 0 e o que é 1] (b = [yy,yy; zz,zz], IC com 95%). O aumento de 1 unidade de VarIndep1 produz uma mudança de xxx em VarDep, enquanto um aumento…

Produza aqui a sua versão desse texto, portanto:

---

Regressão simples foi utilizada para analisar se docentes (medida como o número de docentes permanentes) tem uma associação significativa com producao (medida como o número de artigos publicados pelos docentes em periódicos avaliados como A1, A2 e B1) nas universidades. Os resultados da regressão indicam que um modelo com um preditor no formato \[producao = 4.81337 * docentes -41.27309\] explica 81.46% da variância da variável de resposta (\(R^2 = 0.8145886\)). docentes tem uma relação significativa com o erro (b = [4.269955; 5.356786], IC com 95%). Segundo o modelo, o aumento de 1 unidade de docentes produz um aumento de 4.81337 unidades em producao.

---

Dito isso, o que significa a relação que você encontrou na prática para entendermos os programas de pós graduação no Brasil? E algum palpite de por que a relação que encontramos é forte?

---

Através da análise dos dados percebemos uma relação positiva muito forte entre docentes e producao, indicando que quanto maior o número de docentes permanentes em uma universidade, maior é a quantidade de artigos publicados por eles em periódicos A1, A2 e B1.

Um palpite para esta forte relação é a maturidade de um docente permanente como pesquisador. O docente permanente acompanha várias pesquisas, orienta vários alunos em graduação e pós graduação, além de ter suas próprias pesquisas pessoais, tendo consequentemente conteúdo suficiente para produzir conhecimento relevante para a comunidade científica, reportando resultados publicados em artigos avaliados como A1, A2 ou B1. É importante pontuar que este palpite não exclui as contribuições oriundas de docentes não permanentes ou de discentes, mas o esperado é que a produção dos pesquisadores docentes permanentes seja maior e melhor qualificada.

---

Mais fatores

modelo2 = lm(producao ~ docentes + mestrados_pprof + doutorados_pprof + tem_doutorado, 
             data = cacc_md)

tidy(modelo2, conf.int = TRUE, conf.level = 0.95)

glance(modelo2)

E se considerarmos também o número de alunos?

modelo2 = lm(producao ~ docentes + mestrados + doutorados, data = cacc)

tidy(modelo2, conf.int = TRUE, conf.level = 0.95)

glance(modelo2)

Visualizar o modelo com muitas variáveis independentes fica mais difícil

para_plotar_modelo = cacc %>% 
  data_grid(producao = seq_range(producao, 10), # Crie um vetor de 10 valores no range
            docentes = seq_range(docentes, 4),  
            # mestrados = seq_range(mestrados, 3),
            mestrados = median(mestrados),
            doutorados = seq_range(doutorados, 3)) %>% 
  add_predictions(modelo2)

glimpse(para_plotar_modelo)

Rows: 120
Columns: 5
$ producao   <dbl> 0.00000, 0.00000, 0.00000, 0.00000, 0.00000, 0.00000, 0.00000, 0.00000…
$ docentes   <dbl> 8.25000, 8.25000, 8.25000, 27.91667, 27.91667, 27.91667, 47.58333, 47.…
$ mestrados  <int> 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58, 58…
$ doutorados <dbl> 0, 76, 152, 0, 76, 152, 0, 76, 152, 0, 76, 152, 0, 76, 152, 0, 76, 152…
$ pred       <dbl> 3.199123, 79.257725, 155.316327, 72.026777, 148.085378, 224.143980, 14…

para_plotar_modelo %>% 
  ggplot(aes(x = docentes, y = pred)) + 
  geom_line(aes(group = doutorados, colour = doutorados)) + 
  geom_point(data = cacc, aes(y = producao, colour = doutorados))

Considerando agora esses três fatores, o que podemos dizer sobre como cada um deles se relaciona com a produção de um programa de pós em CC? E sobre o modelo? Ele explica mais que o modelo 1?

---

Regressão múltipla foi utilizada para analisar se docentes (medida como o número de docentes permanentes), mestrados_pprof (medida como a relação do número de dissertações por docente permanente) e doutorados_pprof (medida como a relação do número de teses por docente permanente) tem uma associação significativa com producao (medida como o número de artigos publicados pelos docentes em em periódicos avaliados como A1, A2 e B1) nas universidades. Os resultados da regressão indicam que um modelo com os 3 preditores no formato \[producao = 4.38981679*docentes+0.03183872*mestrados\_pprof+16.10750304*doutorados\_pprof-39.47122811\] explicam 81.62% da variância da variável de resposta (\(R^2\) = 0.8162424). A variável docentes tem uma relação significativa com o erro (b = [3.288230;5.491403], IC com 95%, p-valor 4.383268e-09). Por outro lado, não conseguimos afirmar estatisticamente que doutorados_pprof tem uma relação significativa com o erro, pois o intervalo de confiança inclui o valor zero e o p-valor está acima de 5%, fazendo com que não seja possível descartar a hipótese nula de que o coeficiente para esta variável preditiva é zero (b = [-1.866295;34.081301], IC com 95%, p-valor 7.717000e-02). O mesmo se aplica a mestrados_pprof, para o qual não podemos afirmar estatisticamente que tem relação com o erro, pois o valor zero está dentro do intervalo de confiança e o p-valor também está acima de 5% (b = [-7.086640,7.150317], IC com 95%). Segundo o modelo, O aumento de 1 unidade de docentes produz um aumento de 4.38981679 em producao, o aumento de 1 unidade de doutorados_pprof produz um aumento de 16.10750304 em producao e o aumento de 1 unidade de mestrados_pprof produz um decréscimo de 0.03183872 em producao.

---

Regressão múltipla também foi utilizada para analisar se docentes (medida como o número de docentes permanentes), mestrados (medida como o número de dissertações) e doutorados (medida como o número de teses) tem uma associação significativa com producao (medida como o número de artigos publicados pelos docentes em em periódicos avaliados como A1, A2 e B1) nas universidades. Os resultados da regressão indicam que um modelo com os 3 preditores no formato \[producao=3.4997112*docentes-0.1949515*mestrados+1.0007711*doutorados-14.3663077\] explicam 87.07% da variância da variável de resposta (\(R^2\) = 0.8706642). A variável docentes tem uma relação significativa com o erro (b = [2.5827257;4.4166967], IC com 95%). A variável doutorados também apresenta uma relação com um erro, não tão significativa como docentes mas ainda significativa (b = [0.6355112;1.3660309], IC com 95%). Já mestrados tem uma relação pouco significativa com o erro (b = [-0.3577316;-0.0321714], IC com 95%). Segundo o modelo, O aumento de 1 unidade de docentes produz um aumento de 3.4997112 em producao, o aumento de 1 unidade de doutorados produz um aumento de 1.0007711 em producao e o aumento de 1 unidade de mestrados produz um decréscimo de 0.1949515 em producao.

---

Analisando os dois modelos:

• O modelo que considera docentes, mestrados_pprof e doutorados_pprof, explica bem a variância (\(R^2\)=0.8162424) mas não houve ganho signficativo quando comparado com o primeiro modelo (\(R^2\)=0.8145886) que utiliza apenas docentes como variável independente. Se considerar o \(R^2\) ajustado (0.7978667), que penaliza adição de variáveis preditivas, este modelo foi até um pouco pior do que o primeiro.

• O modelo que considera docentes, mestrados e doutorados, explica muito bem a variância, melhor que o modelo 1, apresentando um \(R^2\) de 0.8706642 e um \(R^2\) ajustado de 0.8650409.

De maneira prática, nos dois modelos considerando mais fatores, percebemos a relação forte que o número de teses de doutorado tem com a quantidade de produções científicas dos docentes da universidade. Isso pode ser explicado novamente pela característica de maturidade dos pesquisadores. Espera-se que pesquisas desenvolvidas em um doutorado tenham um impacto científico muito maior quando comparadas com as pequisas desenvolvidas em um mestrado ou graduação. Muitas vezes a pesquisa do doutorado de algum aluno é uma ramificação de uma pesquisa existente do docente orientador. O docente a frente de tais pesquisas, coordenando, orientando, participando ativamente, terá um acervo de conteúdos e resultados que o permita sintetizar em artigos que possam ser publicados em periódicos avaliados com A1, A2 ou B1.

Agora produtividade

Diferente de medirmos produção (total produzido), é medirmos produtividade (produzido / utilizado). Abaixo focaremos nessa análise. Para isso crie um modelo que investiga como um conjunto de fatores que você julga que são relevantes se relacionam com a produtividade dos programas. Crie um modelo que avalie como pelo menos 3 fatores se relacionam com a produtividade de um programa. Pode reutilizar fatores que já definimos e analizamos para produção. Mas cuidado para não incluir fatores que sejam função linear de outros já incluídos (ex: incluir A, B e um tercero C=A+B)

Produza abaixo o modelo e um texto que comente (i) o modelo, tal como os que fizemos antes, e (ii) as implicações - o que aprendemos sobre como funcionam programas de pós no brasil?.

---

Pelos resultados anteriores, docentes e doutorados tiveram relação forte com producao e espera-se que também tenham uma relação forte com produtividade. Como os dados de produtividade foram gerados utilizando docentes, vamos desconsiderar docentes como fator. Será considerada também a variável tem_doutorado.

Análise descritiva

Antes de gerar modelos precisamos ver os dados e buscar visualmente por relações entre eles. Primeiramente vamos avaliar a relação do números de teses de doutorado com a produtividade e ver se ter doutorado ou não na universidade tem impacto na produtividade.

cacc %>% 
    ggplot(aes(x = doutorados, y = produtividade)) + 
    geom_point() +
    ggtitle("Produtividade x doutorados")

cacc %>% 
    filter(doutorados > 0) %>%
    ggplot(aes(x = doutorados, y = produtividade)) + 
    geom_point() +
    ggtitle("Produtividade x doutorados (filtrando doutorados = 0)")

cacc %>% 
    ggplot(aes(x = tem_doutorado, y = produtividade)) + 
    geom_boxplot() +
    geom_jitter(height = 0, width = 0.1) +
    geom_hline(yintercept = mean(cacc$produtividade), color = "red", linetype = "dashed", size = 1) +
    annotate("text", x = 0, y = mean(cacc$produtividade), label = "Média", hjust = -0.5, vjust = -1, color = "red", size = 4) +
    ggtitle("Produtividade x tem_doutorado (Análise por boxplots)")

O gráfico produtividade x doutorados mostrou que há uma produtividade considerável em cursos que não tem doutorado, valendo a pena considerar o fator mestrados como possível preditivo para produtividade. Ao filtrar as universidades que tem alguma tese de doutorado, fica visível uma possível relação linear entre produtividade e doutorado. No gráfico produtividade x tem_doutorado, analisando os boxplots, como não há sobreposição de IQR conseguimos inferir que ter doutorado em uma universidade implica que a produtividade é maior do que na universidade que não tem. Percebemos que 75% das amostras de universidades que tem doutorado tem uma produtividade maior do que 75% das amostras de universidade que não tem doutorado. É importante observar também que 75% das amostras de produtividade das universidades que tem doutorado estão acima da média de produtividade.

Antes de tomar a decisão pelos fatores doutorados, tem_doutorado e mestrados, vamos analisar a matriz de correlação em busca de outros fatores que possam nos ajudar a encontrar um modelo que explique bem a variância de produtividade e/ou confirmar que os fatores pré-selecionados fazem sentido:

correlacao_spearman <- cor(cacc, method = "spearman")

corrplot(correlacao_spearman, method = "circle", addCoef.col=TRUE, number.cex=0.7, tl.srt = 30)

O primeiro passo é eliminar as variáveis docentes e producao por terem relação direta com a variável dependente produtividade. Das restantes, doutorados_pprof será eliminada por ser função de doutorados e mestrados_pprof será eliminada por ser função de mestrados. Os fatores restantes são os que foram julgados como relevantes na primeira análise: doutorados, tem_doutorado e mestrados. A matriz de correlação serviu para confirmar que existe uma relação entre cada um dos fatores preditivos e a variável de resposta, mesmo que moderada para doutorados e tem_doutorado e fraca para mestrados. Espera-se que juntos em um modelo linear eles consigam explicar bem a produtividade.

Regressão Linear

Dando continuidade com a regressão linear múltipla com os 3 fatores doutorados, tem_doutorado e mestrados:

modelo_produtividade = lm(produtividade ~ mestrados+doutorados+tem_doutorado, data = cacc)

tidy(modelo_produtividade, conf.int = TRUE, conf.level = 0.95)

glance(modelo_produtividade)

Uma forma de visualizar o modelo:

para_plotar_modelo = cacc %>% 
  data_grid(produtividade = seq_range(produtividade, 10), # Crie um vetor de 10 valores no range
            doutorados = seq_range(doutorados, 4),
            mestrados = median(mestrados),
            tem_doutorado = tem_doutorado) %>% 
  add_predictions(modelo_produtividade)

para_plotar_modelo %>% 
  ggplot(aes(x = doutorados, y = pred)) + 
  geom_line(aes(group = tem_doutorado, colour = tem_doutorado)) + 
  geom_point(data = cacc, aes(y = produtividade, colour = tem_doutorado))

1. Sobre o modelo:

Regressão múltipla foi utilizada para analisar se mestrados (medida como o número de dissertações), doutorados (medida como o número de teses) e tem_doutorado (variável categórica que define ter ou não doutorado) tem uma associação significativa com produtividade (medida como a relação entre a produção de artigos científicos A1, A2 e B1 e o número de docentes permanentes) na universidade. Os resultados da regressão indicam que um modelo com os 3 preditores no formato \[produtividade=-0.002488487*mestrados+0.019598340*doutorados+1.275795664*tem\_doutorado+1.665653302\] explicam 51.5% da variância da variável de resposta (\(R^2\) = 0.515007). Não conseguimos afirmar estatisticamente que mestrados tem uma relação com o erro, pois o intervalo de confiança para o coeficiente contém o zero e o p-valor está acima de 5%, impedindo que a hipótese nula do coeficiente ser zero seja descartada (b = [-0.008572572;0.003595598], IC com 95%, p-valor 4.173286e-01). Por outro lado, doutorados tem uma relação significativa com o erro (b = [0.006442110;0.032754570], IC com 95%, p-valor 4.072949e-03). Do mesmo modo, a variável independente categórica tem_doutorado também tem relação significativa com o erro (b = [0.740456651;1.811134677], IC com 95%, p-valor 1.052403e-05). Segundo o modelo, o aumento de 1 unidade de mestrados produz um decréscimo de 0.002488487 em produtividade, o aumento de 1 unidade de doutorados produz um aumento de 0.019598340 em produtividade e tem_doutorado produz um aumento de 1.275795664 na produtividade quando muda de 0 para 1 (não ter doutorado para ter doutorado).

2. Sobre as implicações

Como conclusão de todas as análises executadas neste laboratório com os dados da última avaliação quantitativa da CAPES, percebemos que o número de docentes e o número de teses de doutorado tem relação forte com a produção e a produtividade em uma universidade. Podemos dizer que quanto maiores forem o número de docentes e o número de teses de doutorados em uma universidade, maiores serão a produção e a produtividade, ou seja, veremos mais artigos A1, A2 e B1 serem publicados pelos docentes.

Falando especialmente sobre a produtividade, que foi gerada como o número de artigos A1, A2 e B1 por docente permanente, concluimos que, estatisticamente, se uma universidade tem um número maior de teses em comparação com outra, isso implicará que, em média, um docente da primeira contribuiu com mais conhecimento relevante para a comunidade científica do que um docente da segunda.

Podemos sintetizar a conclusão como: estatisticamente, programas de pós com mais docentes permanentes e mais teses de doutorado contribuem com mais conhecimento relevante para a comunidade científica.