1 Introdução

O método dos Mínimos Quadrados Ordinários (MQO) é uma das técnicas mais importantes em estatística e econometria para estimação de parâmetros em modelos de regressão linear. Desenvolvido inicialmente por Gauss e Legendre no século XIX, o MQO busca encontrar os parâmetros que minimizam a soma dos quadrados das diferenças entre os valores observados e os valores previstos pelo modelo.

O modelo de regressão linear simples é especificado como:

\[ y_i = \alpha + \beta x_i + \varepsilon_i, \quad i = 1, \dots, n \]

onde:

  • \(y_i\): variável dependente (resposta)
  • \(x_i\): variável independente (explicativa)
  • \(\alpha\): intercepto (parâmetro que representa o valor de y quando x = 0)
  • \(\beta\): coeficiente angular (parâmetro que representa a variação em y para cada unidade de variação em x)
  • \(\varepsilon_i\): termo de erro aleatório (capta fatores não observados)

O objetivo é encontrar estimadores \(\hat{\alpha}\) e \(\hat{\beta}\) que minimizem a função de perda quadrática:

\[ S(\alpha, \beta) = \sum_{i=1}^n (y_i - \alpha - \beta x_i)^2 \]

2 Fundamentação Matemática: O Problema de Minimização

2.1 A Função Objetivo

A função \(S(\alpha, \beta)\) representa a soma dos quadrados dos resíduos, também conhecida como soma dos quadrados dos erros (SSE). Minimizar essa função equivale a encontrar a reta que melhor se ajusta aos dados no sentido de minimizar a distância vertical quadrática entre os pontos observados e a reta estimada.

2.2 Condições de Primeira Ordem

Para encontrar o mínimo da função \(S(\alpha,\beta)\), aplicamos o cálculo diferencial. O ponto de mínimo ocorre onde as derivadas parciais em relação a \(\alpha\) e \(\beta\) são iguais a zero.

2.2.1 Derivada parcial em relação a \(\alpha\)

Aplicando a regra da cadeia:

\[ \frac{\partial S}{\partial \alpha} = \frac{\partial}{\partial \alpha} \sum_{i=1}^n (y_i - \alpha - \beta x_i)^2 \]

\[ = \sum_{i=1}^n 2(y_i - \alpha - \beta x_i) \cdot (-1) = -2 \sum_{i=1}^n (y_i - \alpha - \beta x_i) \]

2.2.2 Derivada parcial em relação a \(\beta\)

\[ \frac{\partial S}{\partial \beta} = \frac{\partial}{\partial \beta} \sum_{i=1}^n (y_i - \alpha - \beta x_i)^2 \]

\[ = \sum_{i=1}^n 2(y_i - \alpha - \beta x_i) \cdot (-x_i) = -2 \sum_{i=1}^n x_i (y_i - \alpha - \beta x_i) \]

3 Sistema de Equações Normais e sua Resolução

3.1 Estabelecendo as Equações Normais

Igualando as derivadas a zero (condições de primeira ordem) e dividindo ambos os lados por -2, obtemos o sistema de equações normais:

\[ \begin{cases} \sum_{i=1}^n (y_i - \alpha - \beta x_i) = 0 \\ \sum_{i=1}^n x_i (y_i - \alpha - \beta x_i) = 0 \end{cases} \]

3.2 Expansão e Rearranjo do Sistema

Expandindo as somas:

\[ \begin{cases} \sum y_i - n\alpha - \beta \sum x_i = 0 \\ \sum x_i y_i - \alpha \sum x_i - \beta \sum x_i^2 = 0 \end{cases} \]

Podemos reescrever em forma matricial:

\[ \begin{bmatrix} n & \sum x_i \\ \sum x_i & \sum x_i^2 \end{bmatrix} \begin{bmatrix} \alpha \\ \beta \end{bmatrix} = \begin{bmatrix} \sum y_i \\ \sum x_i y_i \end{bmatrix} \]

3.3 Resolução do Sistema

3.3.1 Solução

Da primeira equação: \[ n\alpha = \sum y_i - \beta \sum x_i \Rightarrow \alpha = \bar{y} - \beta \bar{x} \]

Substituindo na segunda equação: \[ \sum x_i y_i - (\bar{y} - \beta \bar{x}) \sum x_i - \beta \sum x_i^2 = 0 \]

\[ \sum x_i y_i - \bar{y} \sum x_i + \beta \bar{x} \sum x_i - \beta \sum x_i^2 = 0 \]

\[ \sum x_i y_i - \bar{y} \sum x_i = \beta (\sum x_i^2 - \bar{x} \sum x_i) \]

Notando que: \[ \sum x_i^2 - \bar{x} \sum x_i = \sum (x_i^2 - 2\bar{x}x_i + \bar{x}^2) = \sum (x_i - \bar{x})^2 \]

e \[ \sum x_i y_i - \bar{y} \sum x_i = \sum (x_i y_i - \bar{y}x_i) = \sum (x_i - \bar{x})(y_i - \bar{y}) \]

Portanto: \[ \hat{\beta} = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} \]

\[ \hat{\alpha} = \bar{y} - \hat{\beta}\bar{x} \]

4 Interpretação Geométrica e Propriedades

4.1 A Reta de Regressão

A equação ajustada é: \[ \hat{y}_i = \hat{\alpha} + \hat{\beta} x_i \]

Os resíduos são definidos como: \[ e_i = y_i - \hat{y}_i \]

4.2 Propriedades Importantes

  1. A reta passa pelo ponto \((\bar{x}, \bar{y})\)
  2. A soma dos resíduos é zero: \(\sum e_i = 0\)
  3. Os resíduos são ortogonais às variáveis explicativas: \(\sum x_i e_i = 0\)

5 Interpretação Econômica

Os estimadores MQO possuem importantes interpretações:

\(\hat{\alpha}\): Representa o valor esperado da variável dependente quando todas as variáveis independentes são zero (quando faz sentido economicamente)

\(\hat{\beta}\): Representa a variação marginal esperada na variável dependente para uma unidade de variação na variável independente, mantendo constantes outros fatores (ceteris paribus)

6 Pressupostos do Modelo MQO

Para que os estimadores MQO possuam boas propriedades (não-viesados, consistentes e eficientes), os seguintes pressupostos devem ser satisfeitos:

Linearidade nos parâmetros

Amostra aleatória

Média condicional zero: \(E[\varepsilon_i|X] = 0\)

Não-colinearidade perfeita

Homocedasticidade: \(Var(\varepsilon_i|X) = \sigma^2\)

Normalidade dos resíduos (para inferência)

7 Visualizando uma reta de um modelo simulado

library(ggplot2)
library(dplyr)


# Criar conjunto de dados simulado
set.seed(123)
n <- 100
x <- runif(n, 0, 20)
y <- 5 + 1.8*x + rnorm(n, 0, 3)
dados <- data.frame(x, y)

# Ajustar modelo de regressão
modelo <- lm(y ~ x, data = dados)

# Adicionar valores previstos e resíduos aos dados
dados$y_previsto <- predict(modelo)
dados$residuos <- residuals(modelo)

# Gráfico 1: Reta de regressão com resíduos
p1 <- ggplot(dados, aes(x = x, y = y)) +
  geom_point(size = 3, color = "steelblue", alpha = 0.8) +
  geom_line(aes(y = y_previsto), color = "darkred", size = 1.2) +
  geom_segment(aes(xend = x, yend = y_previsto), 
               color = "gray40", linetype = "dashed", alpha = 0.7) +
  labs(title = "Reta de Regressao e Residuos",
       subtitle = "Segmentos tracejados representam os residuos",
       x = "Variavel Independente (x)",
       y = "Variavel Dependente (y)") +
  theme_minimal(base_size = 14)

p1

8 Referências

Gujarati, D. N., & Porter, D. C. (2011). Econometria Básica (5ª ed.). AMGH Editora.

Wooldridge, J. M. (2020). Introdução à Econometria: Uma Abordagem Moderna (6ª ed.). Cengage Learning.

Greene, W. H. (2018). Econometric Analysis (8ª ed.). Pearson.