Definição

O modelo de regressão linear é dado por

\[Y_i = \beta_0 + \beta_1 X_i + u_i\] onde,

• o índice \(i\) percorre as observações, \(i=1,\dots,n\)
• \(Y_i\) é a variável dependente
• \(X_i\) é a variável independente
• \(Y_i = \beta_0 + \beta_1 X\) é a função de regressão populacional
• \(\beta_0\) é o intercepto da linha de regressão populacional
• \(\beta_1\) é a inclinação da linha de regressão populacional
• \(u_i\) é o termo de erro (ou)

Na regressão linear, o objetivo é modelar a relação entre uma variável dependente \(Y\) e uma ou mais variáveis explicativas denotadas por \(X_1, X_2, \dots, X_k\). Por enquanto focaremos no conceito de regressão linear simples, no qual existe apenas uma variável explicativa \(X_1\).

Na prática, o intercepto e a inclinação da reta de regressão populacional são desconhecidas. Portanto, devemos empregar dados para estimar ambos os parâmetros desconhecidos.

Contextualização e preparação da base de dados

A seguir, um exemplo do mundo real será utilizado. Queremos relacionar os resultados dos testes, \(score\), com a proporção aluno-professor, \(STR\) (student-teacher ratio), medida nas escolas californianas. A pontuação do teste é a média distrital de pontuações em leitura e matemática para alunos da quinta série.

Os dados vêm do conjunto de dados da California School (CASchools), do pacote AER, sigla para Applied Econometrics with R (Christian Kleiber e Zeileis 2022).

Depois de instalar o pacote com install.packages("AER") e anexá-lo com library(AER) o conjunto de dados pode ser carregado usando a função data() .

# instala o pacote AER (apenas uma vez)
## install.packages("AER")

## carrega o pacote AER 
library(AER)

# carrega o dataset para seu environment
data(CASchools)

Podemos observar as 6 primeiras observações do dataset com a função head

head(CASchools)

##   district                          school  county grades students teachers
## 1    75119              Sunol Glen Unified Alameda  KK-08      195    10.90
## 2    61499            Manzanita Elementary   Butte  KK-08      240    11.15
## 3    61549     Thermalito Union Elementary   Butte  KK-08     1550    82.90
## 4    61457 Golden Feather Union Elementary   Butte  KK-08      243    14.00
## 5    61523        Palermo Union Elementary   Butte  KK-08     1335    71.50
## 6    62042         Burrel Union Elementary  Fresno  KK-08      137     6.40
##   calworks   lunch computer expenditure    income   english  read  math
## 1   0.5102  2.0408       67    6384.911 22.690001  0.000000 691.6 690.0
## 2  15.4167 47.9167      101    5099.381  9.824000  4.583333 660.5 661.9
## 3  55.0323 76.3226      169    5501.955  8.978000 30.000002 636.3 650.9
## 4  36.4754 77.0492       85    7101.831  8.978000  0.000000 651.9 643.5
## 5  33.1086 78.4270      171    5235.988  9.080333 13.857677 641.8 639.9
## 6  12.3188 86.9565       25    5580.147 10.415000 12.408759 605.7 605.4

Cálculo das variáveis utilizadas

As duas variáveis nas quais estamos interessados não estão incluídas na base de dados. No entanto, é possível calcular ambas a partir dos dados fornecidos. Para obter a proporção aluno-professor (\(STR\)), basta dividir o número de alunos pelo número de professores. A pontuação média do teste (\(score\)) é a média aritmética da pontuação do teste de leitura e da pontuação do teste de matemática. O próximo trecho de código mostra como as duas variáveis podem ser construídas como vetores e como elas são anexadas a CASchools .

# tidyverse é útil para utilizar as principais funções de manipulação e limpeza de base de dados
library(tidyverse)

CASchools = CASchools %>% 
  mutate(STR = students/teachers,
         score = (read+math)/2)

CASchools %>% 
  summarise(media_STR = mean(STR),
            media_score = mean(score),
            sd_STR = sd(STR),
            sd_score = sd(score))

##   media_STR media_score   sd_STR sd_score
## 1  19.64043    654.1565 1.891812 19.05335

CASchools %>% 
  ggplot(aes(x = STR, y = score)) +
  geom_point() +
  xlab("STR - Proporcao Aluno/Professor (X)") +
  ylab("Test Score (Y)")

cor(CASchools$STR, CASchools$score)

## [1] -0.2263627

Estimando pela função lm()

# estima o modelo e atribui o resultado a linear_model
linear_model <- lm(score ~ STR, data = CASchools)

# printa o output de linear_model
linear_model

## 
## Call:
## lm(formula = score ~ STR, data = CASchools)
## 
## Coefficients:
## (Intercept)          STR  
##      698.93        -2.28

head(linear_model$fitted.values)

##        1        2        3        4        5        6 
## 658.1474 649.8608 656.3069 659.3620 656.3659 650.1308

head(linear_model$residuals)

##         1         2         3         4         5         6 
##  32.65260  11.33917 -12.70686 -11.66198 -15.51590 -44.58079

Plotando o gráfico com a regressão

Vamos adicionar a linha de regressão estimada ao gráfico.

CASchools %>% 
  ggplot(aes(x = STR, y = score)) +
  geom_point() + 
  geom_smooth(method  = "lm") +
  xlab("STR - Proporcao Aluno/Professor (X)") +
  ylab("Test Score (Y)")

Coeficiente de determinação (R^2)

\(R^2\), o coeficiente de determinação, é a fração da variância amostral de \(Y_i\) que é explicada por \(X_i\). Matematicamente, o \(R^2\) pode ser escrito como a razão entre a soma dos quadrados explicados e a soma dos quadrados totais.

A soma dos quadrados explicados (ESS) é a soma dos desvios quadrados dos valores previsto \(\hat{Y_i}\) da média de \(Y_i\). A soma dos quadrados totais (TSS) é a soma dos desvios quadrados de \(Y_i\) da sua média. Assim, temos

\[ \begin{align} ESS & = \sum_{i = 1}^n \left( \hat{Y_i} - \overline{Y} \right)^2, \\ TSS & = \sum_{i = 1}^n \left( Y_i - \overline{Y} \right)^2, \\ R^2 & = \frac{ESS}{TSS}. \end{align} \]

Dado que \(TSS = ESS + RSS\), podemos reescrever da seguinte forma:

\[ R^2 = 1- \frac{RSS}{TSS} \]

onde \(RSS\) é a soma dos resíduos quadrados, uma medida para os erros cometidos ao prever o \(Y\) através de \(X\). O \(RSS\) é definido como

\[ RSS = \sum_{i=1}^n \hat{u}_i^2 \]

\(R^2\) encontra-se entre \(0\) e \(1\). É fácil ver que um ajuste perfeito, ou seja, nenhum erro cometido ao ajustar a reta de regressão, implica em \(RSS = 0\) e, consequentemente, \(R^2 = 1\). Analogamente, se a nossa linha de regressão estimada não explicar qualquer variação no \(Y\), então temos \(ESS = 0\) e, consequentemente, \(R^2 = 1\).

Erro Padrão da Regressão (SER)

O erro padrão da regressão (\(SER\)) é um estimador do desvio padrão dos resíduos \(\hat{u}_i\). Assim, mede a magnitude de um desvio típico da linha de regressão, ou seja, a magnitude de um resíduo típico.

\[ SER = s_{\hat{u}} = \sqrt{s_{\hat{u}}^2} \ \ \ \text{onde} \ \ \ s_{\hat{u} }^2 = \frac{1}{n-2} \sum_{i = 1}^n \hat{u}^2_i = \frac{SSR}{n - 2} \]

Lembre-se que \(u_i\) é não observado. Por isso utilizamos contrapartes estimadas, os resíduos \(\hat{u}\).

Calculando as medidas de ajuste através do comando summary()

Ambas as medidas de ajuste podem ser obtidas usando a função summary() com um objeto lm fornecido como único argumento. Embora a função lm() imprima apenas os coeficientes estimados no console, summary() fornece informações adicionais predefinidas, como a regressão \(R^2\) e a \(SER\).

mod_summary <- summary(linear_model)
mod_summary

## 
## Call:
## lm(formula = score ~ STR, data = CASchools)
## 
## Residuals:
##     Min      1Q  Median      3Q     Max 
## -47.727 -14.251   0.483  12.822  48.540 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 698.9329     9.4675  73.825  < 2e-16 ***
## STR          -2.2798     0.4798  -4.751 2.78e-06 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 18.58 on 418 degrees of freedom
## Multiple R-squared:  0.05124,    Adjusted R-squared:  0.04897 
## F-statistic: 22.58 on 1 and 418 DF,  p-value: 2.783e-06

O \(R^2\) na saída é chamado de R-quadrado múltiplo e tem um valor de \(0.051\). Por isso, \(5.1%\) da variância da variável dependente \(score\) explicada pela variável explicativa \(STR\). Ou seja, a regressão explica pouco da variância de \(score\), e grande parte da variação nas pontuações dos testes permanece inexplicada.

O \(SER\) é chamado de erro padrão dos resíduos e é igual \(18.58\). A unidade do \(SER\) é igual à unidade da variável dependente. Ou seja, em média, o desvio entre a pontuação real alcançada no teste e a linha de regressão é \(18.58\) pontos.

attach(CASchools)

# computa o R^2 
RSS <- sum(u_hat^2)
TSS <- sum((score - mean(score))^2)
R2 <- 1 - RSS/TSS

# printa o valor do R^2
R2

## [1] 0.05124009

# computa o SER
n <- nrow(CASchools)
SER <- sqrt(RSS / (n-2))

# printa o valor do SER
SER

## [1] 18.58097

TSS_x <- sum((STR - mean(STR))^2)
erro_padrao = SER/sqrt(TSS_x)

erro_padrao

## [1] 0.4798255