En el modelo de Regresión Lineal Simple, el método de Mínimos Cuadrados Ordinarios (MCO) busca determinar los valores de los parámetros que minimicen el error total del modelo.
Para ello, se define la función de pérdida como la suma de los cuadrados de los residuos:
\[ S(\hat{\beta}_0, \hat{\beta}_1) = \sum_{i=1}^{n} \epsilon_i^2 \]
Recordando que el residuo es:
\[ \epsilon_i = y_i - \hat{y}_i \]
Entonces:
\[ S(\hat{\beta}_0, \hat{\beta}_1) = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \]
Como el modelo estimado es:
\[ \hat{y}_i = \hat{\beta}_0 + \hat{\beta}_1 x_i \]
Sustituyendo en la función:
\[ S = \sum_{i=1}^{n} (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)^2 \]
El objetivo es minimizar esta expresión respecto a \(\hat{\beta}_0\) y \(\hat{\beta}_1\).
Para encontrar el valor óptimo del intercepto, derivamos parcialmente la función \(S\) respecto a \(\hat{\beta}_0\) e igualamos a cero:
\[ \frac{\partial S}{\partial \hat{\beta}_0} = \sum_{i=1}^{n} 2(y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)(-1) = 0 \]
Dividiendo ambos lados por \(-2\):
\[ \sum_{i=1}^{n} (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i) = 0 \]
Aplicando propiedades de la sumatoria:
\[ \sum y_i - \sum \hat{\beta}_0 - \sum \hat{\beta}_1 x_i = 0 \]
Como \(\hat{\beta}_0\) es constante:
\[ \sum \hat{\beta}_0 = n\hat{\beta}_0 \]
Y extrayendo \(\hat{\beta}_1\) de la sumatoria:
\[ \sum y_i - n\hat{\beta}_0 - \hat{\beta}_1 \sum x_i = 0 \]
Despejando:
\[ n\hat{\beta}_0 = \sum y_i - \hat{\beta}_1 \sum x_i \]
Dividiendo entre \(n\):
\[ \hat{\beta}_0 = \frac{\sum y_i}{n} - \hat{\beta}_1 \frac{\sum x_i}{n} \]
Reconociendo las medias muestrales:
\[ \bar{y} = \frac{\sum y_i}{n}, \quad \bar{x} = \frac{\sum x_i}{n} \]
Finalmente:
\[ \boxed{\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}} \]
Ahora derivamos la función respecto a \(\hat{\beta}_1\):
\[ \frac{\partial S}{\partial \hat{\beta}_1} = \sum_{i=1}^{n} 2(y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)(-x_i) = 0 \]
Dividiendo por el factor constante:
\[ \sum_{i=1}^{n} x_i (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i) = 0 \]
Sustituimos el valor encontrado del intercepto:
\[ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x} \]
Entonces:
\[ \sum x_i (y_i - (\bar{y} - \hat{\beta}_1 \bar{x}) - \hat{\beta}_1 x_i) = 0 \]
Reordenando términos:
\[ \sum x_i (y_i - \bar{y}) - \sum x_i (\hat{\beta}_1 x_i - \hat{\beta}_1 \bar{x}) = 0 \]
Factorizando \(\hat{\beta}_1\):
\[ \sum x_i (y_i - \bar{y}) - \hat{\beta}_1 \sum x_i (x_i - \bar{x}) = 0 \]
Despejando \(\hat{\beta}_1\):
\[ \boxed{ \hat{\beta}_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})} {\sum (x_i - \bar{x})^2} } \]
Mediante el método de Mínimos Cuadrados Ordinarios se demostraron los estimadores del modelo de regresión lineal simple.
Se concluye que:
Así queda demostrada formalmente la expresión analítica de los estimadores del modelo.