El modelo de regresión lineal es estimado por la ecuación

\[ \hat{y} = \hat{\beta}_0 + \hat{\beta}_1x. \]

Los estimados \( \hat{\beta}_0 \) y \( \hat{\beta}_1 \) de \( \beta_0 \) y \( \beta_1 \) respectivamente, son hallados mediante el método de mínimos cuadrados

Recordemos, que la ecuación viene dada por:

\[ y_i=\beta_0+\beta_1x_i+\varepsilon_i \]

\[ Q(\beta_0,\beta_1) = \sum\limits_i^n \varepsilon_i^2\\ = \sum_i \left(y_i - \hat{y_i} \right)^2 \\ = \sum_i \left(y_i - \beta_0 - \beta_1x_i\right)^2 \]

Derivando parcialmente \( Q \) respecto a \( \beta_0 \) y \( \beta_1 \) e igualando a cero para minimizar

Ecuaciones normales

\[ \frac{\partial{Q}}{\partial{\beta}_0} = \sum_i 2\left(y_i - \beta_0 - \beta_1x_i\right) (-1) = 0 \\ \frac{\partial{Q}}{\partial{\beta}_1} = \sum_i 2\left(y_i - \beta_0 - \beta_1x_i\right) (-x_i)=0 \]

Reescribiendo las ecuaciones

\[ n \beta_0 + \beta_1 \sum_i- x_i = \sum_i- y_i \label{eq:d6} \\ \beta_0 \sum_i- x_i + \beta_1 \sum_i- x_i^2 = \sum_i- x_i y_i \]

Escribiendo las ecuaciones en forma matricial,

\[ \begin{bmatrix} n & \sum x_i \\ \sum x_i & \sum x_{i}^{2} \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}= \begin{bmatrix} \sum y_i\\ \sum x_iy_i \end{bmatrix} \]

Por lo tanto,

\[ \begin{bmatrix} \hat{\beta}_0 \\ \hat{\beta}_1 \end{bmatrix}= \begin{bmatrix} n & \sum x_i \\ \sum x_i & \sum x_i^{2} \end{bmatrix}^{-1} \begin{bmatrix} \sum y_i\\ \sum x_iy_i \end{bmatrix} \]

luego, encontrando la inversa y multiplicando, tenemos

\[ \begin{bmatrix} \hat{\beta}_0 \\ \hat{\beta}_1 \end{bmatrix}= \frac{1}{\sum x_{i}^2- \left(\sum x_i\right)^2} \begin{bmatrix} \sum y_i \sum x_i^2 -\sum x_i \sum x_iy_i \\ n\sum x_iy_i - x_i\sum y_i \end{bmatrix} \]

la ecuación se puede escribir de forma compacta como:

\[ \hat{\boldsymbol{\beta}} = (\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{X}'\boldsymbol{y} \]

Finalmente, tenemos los coeficientes estimados de \( \beta_0 \) y \( \beta_1 \) se pueden ver en las ecuaciones

\[ \hat{\beta}_0 = \frac{\sum y_i \sum x_i^2 -\sum x_i \sum x_iy_i}{\sum x_i^2- \left(\sum x_i\right)^2} \\ =\frac{\bar{y}\left(\sum x_i\right)^2-\bar{x}\sum x_iy_i}{\sum x_i^2- n\bar{x}^2} \]

\[ \hat{\beta}_1 = \frac{n\sum x_iy_i - \sum x_{i}\sum y_i}{\sum x_i^2- \left(\sum x_i\right)^2} \\ = \frac{ \sum x_iy_i- n \bar{x}\bar{y}}{\sum x_i^2-n\bar{x}^2} \]

Observación

Recordemos que el proceso de mínimos cuadrados se está usando para estimar la linea de regresión, por lo tanto, los parámetros \( \beta_0 \) y \( \beta_1 \) son estimados por \( \hat{\beta}_0 \) y \( \hat{\beta}_1 \).

Ahora, reescribiendo \( \hat{\beta}_0 \) y \( \hat{\beta}_1 \) en términos de varianzas y covarianzas, tenemos lo siguiente:

\[ \hat{\beta}_1 = \frac{Cov(x,y)}{\sigma_x^2} =\frac{ss_{xy}}{ss_{xx}} \]

substituyendo las sumas de cuadrados, podemos escribir \( \hat{\beta}_0 \) en términos de \( \hat{\beta}_1 \); esto es,

\[ \hat{\beta}_0 = \bar{y} - \hat{\beta}_1\bar{x} \]

Definición: Sesgo de un estimador

Se denomina sesgo de un estimador a la diferencia entre la esperanza (o valor esperado) del estimador y el verdadero valor del parámetro a estimar.

Es deseable que un estimador sea insesgado o centrado, es decir, que su sesgo sea nulo por ser su esperanza igual al parámetro que se desea estimar.

El valor esperado de \( \bar{X} \) es igual a la media de la población \( \mu \).

En efecto, si una muestra \( X=(x_1,x_2,...,x_n) \) procede de una población de media \( \mu \), quiere decir que:

\[ E[X=x_i]= \mu , \quad \text{para cualquier}\quad i=1,\dots,n. \]

La media aritmética o media presupuestal, \( \bar{X}=\frac{1}{n}\sum_{i=1}^nX_{i} \), con lo que, al aplicar las propiedades de linealidad de la esperanza matemática se tiene que:

\[ E[\bar{X}]=E\left[{\frac{1}{n}}\sum_{i=1}^{n}X_{i}\right] ={\frac{1}{n}}E\left[\sum_{i=1}^{n}X_{i}\right]\\ \qquad ={\frac{1}{n}}\sum_{i=1}^{n}E\left[X_{i}\right]={\frac{1}{n}}\sum_{i=1}^{n}\mu ={\frac{1}{n}}n\mu =\mu \]

Un estimador insesgado para la varianza \( \sigma^2_{e} \) de los residuales en el modelo de regresión lineal, está dado por

\[ s^2 = \displaystyle \frac{\sum_{i=1}^n \hat{\varepsilon}_i}{n-1-p}= \frac{\sum_{i=1}^n(y_i-\hat{y}_i)^2}{n-1-p} \]

donde

\[ \hat{y}_i=\boldsymbol{x}_i'\hat{\boldsymbol{\beta}} = \begin{bmatrix} 1 & x_i \\ \end{bmatrix} \begin{bmatrix} \hat\beta_0 \\ \hat\beta_1 \end{bmatrix} \]

Note que en la ecuación de la varianza, el número de variables en la regresión lineal simple es \( p=1 \); por lo tanto \( n-1-p=n-2 \). Además, \( s^2 \) se distribuye como una \( t-student \) con \( n-2 \) grados de libertad.

En el caso de regresión, la descomposición de la variación de la variable de respuesta \( Y \) es como sigue:

\[ \text{V.T DE Y = V. DEB. A LA REGRESIÓN + V. DEB. AL ERROR} \]

Realizando algunos cálculos algebraicos sencillos, tenemos la descomposición de estas variabilidades; que representan las sumas:

\[ \stackrel{\text{SST}}{\sum_{i=1}^n(y_i-\bar{y})^2} = \sum_{i=1}^n(y_i-\hat{y}_i+\hat{y}_i-\bar{y})^2= \stackrel{\text{SSR}}{\sum_{i=1}^n(\hat{y}_i-\bar{y})^2} + \stackrel{\text{SSE}}{\sum_{i=1}^n(y_i-\hat{y}_i)^2} \]

• SST = Suma de Cuadrados Total
• SSR = Suma de Cuadrados de Regresión y
• SSE = Suma de Cuadrados del Error (entiendase Error aquí como residuales).

Cada una de estas sumas de cuadrados tiene una distribución \( \chi^2 \).

Veamos los constraste de la regresión para la pendiente (\( \beta_1 \)) del modelo de regresión lineal simple.

• ¿Disponemos de suficiente evidencia muestral para afirmar que \( X \) tiene una influencia significativa sobre \( Y \)?

O dicho de otra manera,

• ¿disponemos de suficiente evidencia muestral para asegurar que \( X \) es realmente una variable explicativa?

Teniendo en cuenta que la posible influencia de \( X \) desaparecería si su coeficiente \( \beta_1 \) se anulase, esto nos lleva a elegir entre las posibilidades \( \beta_1=0 \) y \( \beta_1 \neq 0 \) y, por tanto, al siguiente contraste de hipótesis:

\[ \begin{align*} &H_0: \beta_1 =0 \quad (X \text{ no influye})\\ &H_1: \beta_1 \neq 0 \quad (X \text{ influye}) \end{align*} \]

La decisión de aceptar o rechazar \( H_0 \) se va a tomar en base al estadístico que se obtiene a partir de este análisis de la varianza:

\[ \frac{MSR}{MSE}=\frac{\frac{SSR}{1}}{\frac{SSE}{n-2}} \]

Este estadístico tiene una distribución \( F_{1;n-2} \) (bajo \( H_0 \)) y por lo tanto, la regla de decisión es de la siguiente forma: Rechazamos \( H_0 \), al nivel de significación \( \alpha \), cuando

\[ F=\frac{\frac{SSR}{1}}{\frac{SSE}{n-2}}>F_{(\alpha, gl_{num}=1, gl_{den}=n-2)} \]

También podemos alcanzar una decisión razonando con el \( p-valor \) de los datos. La manera más sencilla de “interpretar” y utilizar el \( p-valor \), es entendiendo el \( p-valor \) como el “apoyo que los datos dan a \( H_0 \)”. De este modo:

• Si el \( p-valor < \alpha \), el apoyo a \( H_0 \) es insuficiente, y rechazaremos \( H_0 \) (al nivel de significación \( \alpha \)).
• Si el \( p-valor > \alpha \), el apoyo a \( H_0 \) es suficiente, y aceptaremos \( H_0 \) (al nivel de significación \( \alpha \)).

Por supuesto, obtendremos la misma decisión, tanto si trabajamos con el estadístico F como si trabajamos con el \( p-valor \).

En R, puede encontrar el valor del cuantil inferior de la distribución \( F_{(\alpha, df_{num};df_{den})} \) usando el comando qf(alpha, dfnum, dfden, lower.tail=F).

En la regresión lineal múltiple es cuando será especialmente importante determinar si una variable explicativa tiene una influencia significativa o no sobre la variable respuesta.

A continuación, presentamos las pruebas de hipótesis más frecuentes para los parámetros \( \beta_0 \) y \( \beta_1 \). En esta prueba, se quiere verificar, si \( \beta_i \), \( i=0,1 \).

La prueba estadística para viene dada por:

\[ t_0= \frac{\hat{\beta}_i}{se(\hat{\beta}_i)} \]

Rechazamos \( H_0:\beta_i=0 \), si en la distribución \( t-student \), se cumple

\[ |t_0| > t_{(\frac{\alpha}{2},n-2)} \]

O en su defecto, si estamos usando por ejemplo, un \( \alpha =0.05 \), entonces rechazamos \( H_0:\beta_i=0 \), si el \( p-valor < 0.05 \).

Interpretación del intercepto \( \hat{\beta}_0 \)

Indica el valor promedio de la variable de respuesta \( Y \) cuando \( X \) es cero. Si se tiene certeza de que la variable predictora \( X \) no puede asumir el valor 0, entonces la interpretación no tiene sentido.

Interpretación de la pendiente \( \hat{\beta}_1 \)

Indica el cambio promedio en la variable de respuesta \( Y \) cuando \( X \) se incrementa en una unidad.

En nuestro ejemplo (casas) podemos ver que el intercepto estimado es \( \hat{\beta}_0 =73167.75 \) y la pendiente estimada \( \hat{\beta}_1 = \) 38.52. Por lo tanto la ecuación lineal es:

\[ \hat{precio} = 73167.75 + 38.52 \hspace{.1cm} \times \acute{a}rea \]

• Vemos que por una unidad de área (\( pie^2 \)), el precio promedio de una casa se incrementa en 38.52 dólares. Notemos que para una casa de área 0, el precio estimado sería 73167.75; con lo cual la interpretación, en este caso, de la estimación del parámetro \( \beta_0 \) no tiene sentido.

• Además, tenemos que la hipótesis nula \( H_0: \beta_1= 0 \) se rechaza si el “\( p-valor \)” de la prueba de F es menor que 0.05. Para el ejemplo de las casas, tememos que el \( p-valor= 0 <0.05 \). Por lo tanto, se rechaza la hipótesis de que \( \beta_1=0 \).

Intervalo de confianza del \( 100(1-\beta_0)\% \) para la pendiente \( \beta_1 \).

\[ \hat{\beta_1} \pm t_{(\frac{\alpha}{2}, n-2)} \frac{s}{\sqrt{ss_{xx}}} \]

Podemos calcular el intervalo de confianza del \( 100(1-\beta_0)\% \) para \( \beta_1 \), con la función confint().

confint(mod1, level = 0.95)

            2.5 % 97.5 %
(Intercept) 45787 100549
area           25     52

• El hecho de agregar variables explicativas \( X \) al modelo de regresión sólo puede aumentar el \( R^2 \) y nunca reducirlo.

• Se sugiere que cuando se quieran comparar modelos de regresión con distinto número de covariables en vez de usarse el \( R^2 \).

El coeficiente de determinación múltiple ajustado \( R^2_a \)

Ajusta a \( R^2 \) dividiendo cada suma de cuadrados por sus correspondientes grados de libertad y no depende del número de variables que se incluyen en el modelo.

Tiene la de la siguiente forma

\[ \begin{align*} R^2_a & = 1 - \displaystyle \frac{\frac{SSR}{n-p-1}}{\frac{SST}{n-1}} \\ & = 1 - \left(\frac{n-1}{n-p-1}\right)\left( 1- R^2 \right) \end{align*} \]

• Este coeficiente de determinación múltiple puede, de hecho, disminuir cuando se agrega una covariable al modelo

• Si al comparar un modelo con las covariables \( X_1, . . . , X_k \) para explicar a \( Y \) con un modelo que tiene las mismas \( X_1,\dots,X_k \) y además a \( X_{k+1} \) como covariables vemos un aumento de los \( R^2_a \), esto es una indicación de que:

  • la covariable \( X_{k+1} \) es importante para predecir a \( Y \), aún cuando las covariables \( X_1, . . . , X_k \) ya están incluidas en el modelo.

• Si en cambio, el \( R^2_a \) no aumenta o incluso disminuye al incorporar a \( X_{k+1} \) al modelo, esto es señal de que:

  • una vez que las variables \( X_1,\dots,X_k \) se utilizan para predecir a \( Y \), la variable \( X_{k+1} \) no contribuye a explicarla y de debe incluirse en el modelo.

• Si efectivamente la relación entre las variables \( X \) e \( Y \) es lineal.
• Si hay normalidad de los errores.
• Si hay valores anormales en la distribución de errores.
• Si hay varianza constante (propiedad de Homocedasticidad) y
• Si hay independencia de los errores.

A continuación presentamos diferentes ejercicios para evaluar lo visto hasta aquí. Debe hacerlo “manualmente” (puede hacer cáculos en R) y mediante la función lm().

1. Estime los parámetros \( \beta_0 \) y \( \beta_1 \) (intercepto y pendiente de la recta de regresión).

2. Calcule los intervalos de confianza para los parámetros de regresión \( \beta_0 \) y \( \beta_1 \).

3. Realice las prueba de hipotesis correspondiente para la pendiente y el intercepto de la recta de regresión. Diga si se rechazan las hipótesis nulas; \( H_0: \beta_i=0 \), \( i=0,1 \) al \( 0.05\% \) (usar la prueba \( t-student \)); luego compare con el summary(mod1).

4. Calcule intervalos de confianza del \( (1-\alpha)100\% \) para:

   • el valor medio (\( \mu_y \)) de \( y \), dado \( x= 1350 \).
   • el valor individual (\( \hat{y}_y \)) de \( y \), dado \( x_0= 1350 \).

5. Calcule el coeficiente de determinación usando alguna de las equivalencias de la ecuación que se presentó en clase y mediante la salida del summary(mod1).

• En ocaciones el modelo que se está construyendo no tiene un buen desempeño.
  • Por que no cumple los supuestos del modelo lineal,
  • Por que la variable respuesta no es una respuesta lineal de los predictores.
• Una alternativa para aumentar el coeficiente de \( R^2 \), consiste en usar modelos no lineales que pueden ser convertidos en lineales, a través de transformaciones tanto de la variable independiente como dependiente.

Algunas de las transformaciones más frecuentes.

• Residuals vs. Fitted: nos indica que la relación entre la variable predictora y la variable respuesta, no es lineal (tiene forma de parabola).
• Normal Q-Q: nos dice que los residuales se ditribuyen normal.
• Scale-Location: este gráfico nos muestra que los residuales son aleatorios (homocedasticidad).
• Cook's distance: en este caso, vemos que la distancia distancia Cook para la observación 49 es relativamente alta; puede ser un potencial dato atípico “outliers”; por lo que podría estar afectando “halando” la recta de regresión. No obstante, notamos que en el gráfico de residuales Scale-Location, este dato no se aleja mucho de los demás.
• Residuals vs Leverage: en esta gráfica, la observación 49 tiene una distancia Cook mayor que otros puntos. Esta observación claramente, se destaca de las otras. Una regla general es que un \( CD > k/n \) es signo de atención (\( k \) es # de predictores, \( n \) es el tamaño de la muestra). Se debe de verificar si es un potencial dato atípico.
• Cook's dist vs Leverage: podemos observar que el dato 49 es un potencial dato atípico (verificar). Se podría eliminar el dato para ver el cambio en el modelo.