Inteligencia Analítica de Datos con R

Regresión lineal mútiple

La regresión lineal mútiple es la gran técnica estadística para comprobar hipótesis y relaciones explicativas. Ante de empezar, una serie de condiciones que se deben cumplir para poder aplicar la regresión lineal múltiple:

• La variable dependiente (resultado) debe ser escalar (numérica) o bien ordinal de más de 5 categorís, es decir, las categorías de la variable dependiente deben tener un orden interno o jerarquía, por ejemplo, nivel de ingresos, peso, número de hijos, justificación del aborto en una escala de 1-nunca a 10-siempre.
• Las variables independientes (explicaciones) deben ser escalares (numérica), ordinales (también se recomienda con más de 5 categorías, p.ej. nivel de ingresos) o dummy (variables de dos categorías donde una indica existencia o otra no-existencia, p.ej. 1-ser soltero, 0-no ser soltero).
• Hay otras condiciones como: las variables independientes no puede estar altamente correlacionadas entre sí, las relaciones entre las variable independientes y la variable dependiente deben ser lineales, todas variables (o mejor dicho sus residuales) deben seguir la distribución normal y deben tener varianzas iguales. Estas condiciones son importantes pero hay maneras de tratar los datos si se incumple alguna de ellas. Sobre ello volveremos en futuras entradas.

Objetivos

• Ajustar modelos de regresión lineal simple y múltiple estimando los valores de sus parámetros
• Obtener información adicional sobre los modelos de regresión (contrastes de significacia de los parámetros, test de bondad de ajuste,…)
• Contrastar las hipótesis del modelo de regresión lineal
• Ajustar un modelo de regresión cuadrático
• Estudiar la correlación entre variables.

Modelo parsimonioso

Este término hace referencia a que el mejor modelo es aquel capaz de explicar con mayor precisión la variabilidad observada en la variable respuesta empleando el menor número de predictores, por lo tanto, con menos asunciones.

Relación lineal entre los predictores numéricos y la variable respuesta

• Cada predictor numérico tiene que estar linealmente relacionado con la variable respuesta Y mientras los demás predictores se mantienen constantes, de lo contrario no se puede introducir en el modelo.
• La forma más recomendable de comprobarlo es representando los residuos del modelo frente a cada uno de los predictores. Si la relación es lineal, los residuos se distribuyen de forma aleatoria entorno a cero.
• Estos análisis son solo aproximados, ya que no hay forma de saber si realmente la relación es lineal cuando el resto de predictores se mantienen constantes.

Supuestos

Modelo lineal clásico y regresión lineal múltiple

Aspectos teóricos

• Dado un conjunto de datos \(\displaystyle \{y_i,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}\)

• la relación entre la variable dependiente \(y_i\) y el vector \(\boldsymbol{x}_i\) de \(p\) regresores es lineal.

• Esta relación se debe modelar la variable de error: \(\varepsilon_i \stackrel{i.i.d}{\sim} N(0, \sigma^2)\)

(Nota: i.i.d. significa independiente e identicamente distribuidos),

Regresión lineal múltiple - aspectos teóricos

La ecuaci??n \(\boldsymbol{y} = \boldsymbol{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\), toma la forma expandida:

\[ \boldsymbol{y} \underbrace{\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}}_{\boldsymbol{y}} = \underbrace{\begin{bmatrix}1&x_{11}&\cdots &x_{1p}\\1&x_{21}&\cdots &x_{2p}\\\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&\cdots &x_{np}\end{bmatrix}}_{\boldsymbol{X}} \underbrace{ \begin{bmatrix}\beta_{0}\\\beta_{1}\\\beta_{2}\\\vdots \\\beta_{p}\end{bmatrix}}_{\boldsymbol{\beta}} + \underbrace{\begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix}}_{\boldsymbol{\varepsilon}} = \boldsymbol{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \]

• \(E(y_i|\boldsymbol{x}_i)=\boldsymbol{x}_i'\boldsymbol{\beta}\) (media cero)
• \(Var(y_i|\boldsymbol{x}_i)=\sigma^2\) (vatianza constante)
• \(y_i|\boldsymbol{x}_i \stackrel{ind}{\sim} N(\boldsymbol{x}'_i\boldsymbol{\beta}, \sigma^2)\) (independencia de los errores)

Modelo de regresión múltiple - Estimación de los coeficientes

De forma análoga al modelo de regresión lineal simple; no obstante, ahora tendremos \(p\) coeficientes que son:

\[\beta_0, \beta_1, \beta_2, \dots , \beta_p\] Correspondientes al intercepto y a cada variable \(X_i\) respectivamente.

Propiedades del estimador de mC-nimos cuadrados

El estimador MC (LS “least squares”) para (), tiene las siguientes propiedades:

• \(\hat{\boldsymbol{\beta}}\) es insesgado, o sea \(E(\hat{\boldsymbol{\beta}}) = \boldsymbol{\beta}\).

• \(Var(\hat{\boldsymbol{\beta}})=\sigma^2(\boldsymbol{X}'\boldsymbol{X})^{-1}\).

• Si , entonces el estimador de mínimos cuadrados MC, \(\hat{\boldsymbol{\beta}}\) es el mejor estimador dentro de los estimadores lineales insesgados de \(\boldsymbol{\beta}\).

• Si , entonces \(\hat{\boldsymbol{\beta}}\) es el mejor estimador entre todos los estimadores insesgados de \(\boldsymbol{\beta}\).

Estimación de la varianza de los errores

Recordemos que cuando tenemos solo una variable predictora, entonces el estimador de la varianza de los errores es:

\[S^2_R=\frac{\sum_{i=1}^{n}e^2_i}{n-1-1}=\frac{\sum_{i=1}^{n}(y_i-\hat{y}_i)^2}{n-2}\]

Pero ahora tenemos \(p\) variables predictoras, por lo tanto, el estimador enn forma matricial es:

\[ s^2 = \displaystyle \frac{SSE}{n-p-1} = \frac{\sum_{i=1}^n e^2_i}{n-p-1}= \frac{\boldsymbol{e}'\boldsymbol{e}}{n-p-1}= \frac{(\boldsymbol{y} - \boldsymbol{X} \boldsymbol{\beta})' (\boldsymbol{y} - \boldsymbol{X}\beta) }{n-p-1} \]

Regresión lineal múltiple - Estimación del \(R\) cuadrado ajustado (\(R_a^{2}\))

Interpretación del coeficiente de regresión estimado \(\beta_j\)

Recordemos que el modelo matricial de regresión múltiple \(\boldsymbol{y} = \boldsymbol{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}\), podemos escribirlo para cada \(y_i\), así,

\[ y_i=\beta_{0}+\beta_{1}x_{i1}+\cdots +\beta_{ip}x_{ip}+\varepsilon_i \]

Observaciones

• El estimado del coeficiente de regresión lineal \(\beta_j\), para \(j=1,2,\dots, p\), se representará por \(\hat{\beta}_j\).

• \(\hat{\beta}_j\) indica el cambio promedio en la variable de respuesta \(Y\) cuando la variable predictora \(X_j\) cambia en una unidad adicional asumiendo que las otras variables predictoras permanecen constantes.

Ejemplo 1

Sean las variables predictoras altura(cm) y edad(años) vs. la variable respuesta peso (kg). Interprete el siguiente modelo. \[ \widehat{peso}=-0.7 + 1.3 \times altura + 0.4 \times edad \]

Inferencia en regresión lineal múltiple

Dentro de los métodos de inferencia, se encuentran:

• Pruebas de hipótesis eintervalos de confianza acerca de los coeficientes del modelo de regresión poblacional.

• Intervalos de confianza de las predicciones que se hacen con el modelo.

Observaciones

Suponemos que \(\varepsilon_i \stackrel{i.i.d}{\sim} N(0,\sigma^2 \boldsymbol{I}_n)\)

Inferencia sobre los \(\beta_i\) en regresión lineal múltiple

Análisis de varianza (anova) del modelo

La decisión de aceptar o rechazar \(H_0\) se va a tomar en base al estadístico \(F\), que se obtiene a partir de este análisis de la varianza:

\[ \frac{MSR}{MSE}=\frac{\frac{SSR}{p}}{\frac{SSE}{n-p-1}} \]

Este estadístico tiene una distribución \(F_{(p,n-p-1)}\) (bajo \(H_0\)) y por lo tanto, la regla de decisión es de la siguiente forma: Rechazamos \(H_0\), al nivel de significación \(\alpha\), cuando

\[ F=\frac{\frac{SSR}{p}}{\frac{SSE}{n-p-1}}>F_{(\alpha, gl_{num}=p, gl_{den}=n-p-1)} \]

Valor predicho y varianza del valor predicho de Y

• De forma similar a la regresión lineal simple, se desea predecir el valor medio de la variable de respuesta \(Y\) para una combinación predeterminada de las variables predictoras \(\boldsymbol{X}_1, \boldsymbol{X}_2, \dots, \boldsymbol{X}_p\).

• Consideremos el vector de valores observados \(\boldsymbol{x}'_0 = (1, x_{01}, x_{02}, \cdots, x_{0p})\)

• El valor predicho para el valor medio de la variable de respuesta \(Y\), será

\[\hat{y}_0 = \boldsymbol{x}'_0\hat{\boldsymbol{\beta}} =\hat{\beta}_0 + \hat{\beta}_1 x_{01}+ \hat{\beta}_1 x_{02} + \cdots + \hat{\beta}_p x_{0p}\]

y la varianza de \(\hat{y}_0\)

\[Var(\hat{y}_0)= \boldsymbol{x}'_0 Var(\hat{\boldsymbol{\beta}})\boldsymbol{x}_0 =\sigma^2\boldsymbol{x}'_0(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{x}_0\]

por lo tanto, la varianza estimada de \(\hat{y}_0\), será

\[\widehat{Var}(\hat{y}_0)= \boldsymbol{x}'_0 \widehat{Var}(\hat{\boldsymbol{\beta}})\boldsymbol{x}_0 =s^2\boldsymbol{x}'_0(\boldsymbol{X}'\boldsymbol{X})^{-1}\boldsymbol{x}_0\]

Intervalos de confianza para el promedio de las Y´s y las Y´s

Eliminación “backward” o hacia atrás

El procedimiento comienza construyendo el modelo con todas las predictoras y en cada paso se elimina una variable. La secuencia del procedimiento es la siguiente. Se define un nivel de significación fijo \(\alpha\).

• El modelo inicial contiene todos los potenciales predictores (que denominado \(p\)).
• Si todas las variables producen una contribución parcial significativa (es decir, un estadístico \(t\) con \(p-valor < \alpha\)) entonces el modelo completo es el modelo final.
• De otro modo, se elimina la variable que tenga la menor contribución parcial (es decir, mayor \(p-valor\) del estadístico \(t\)) cuando las demás están en el modelo.
• Se ajusta el nuevo modelo con (\(p-1\)) predictores y se repiten los pasos 2 y hasta que todas las variables en el modelo tengan un coeficiente estimado cuyo \(p-valor\) asociado al estadístico t sea menor a \(\alpha\)

Observación

Si hay una alta multicolinealidad en el conjunto de los \(p\) predictores, este procedimiento no es muy recomendable.

Selección “Forward” o incorporando variables

• Aquí en el modelo inicial se considera una regresión lineal simple que incluye a la variable predictora que da la correlación más alta con la variable de respuesta.
• Se incluye una segunda variable en el modelo, que es aquella variable dentro de las no incluidas aún, que da el \(p-value\) más bajo para la prueba \(t\) o el valor de la prueba de \(t\) más grande en valor absoluto.
• Se siguen incluyendo variables, notando que una vez que ésta es incluida ya no puede ser sacada del modelo.
  
• El proceso termina cuando los \(p-values\) para la prueba \(t\) de todas las variables que aún no han sido incluidas son mayores que 0.05 ó la prueba de \(t\) es menor que 2 para dichas variables. Si se usa la prueba de \(F\), entonces el proceso termina cuando todas las \(F\) son menores que 4.

Observación

• Si se usa un punto de corte pequeño (digamos \(\alpha < 0.01\)) se pueden perder covariables importantes.
• Si se usa un punto de corte grande (\(\alpha < 0.20\)) probablemente, el modelo contendrá más variables.
  • Una vez que el procedimiento finaliza, no todas las variables en el modelo necesariamente tendrán coeficientes parciales significativos.

Selección “Stepwise” o paso a paso

Es una modificación del procedimiento forward que elimina una variable en el modelo si ésta pierde significación cuando se agregan otras variables.

• La aproximación es la misma que la selección forward excepto que a cada paso, después de incorporar una variable, el procedimiento elimina del modelo las variables que ya no tienen contribución parcial significativa.

• Una variable que entró en el modelo en una etapa, puede eventualmente, ser eliminada en un paso posterior.

• En este caso será necesario definir un punto de corte para que ingrese una variable \(\alpha_I\) y otro para eliminarla del modelo \(\alpha_E\).

• Uno puede desear ser menos exigente (mayor \(p-valor\)) en el punto de corte para que una variable salga del modelo una vez que ingresó, o usar el mismo valor para ambos.

  • Este procedimiento, en general produce modelos con menos variables que la selección forward.

Ejemplo 2: Selección del mejor modelo (datos: Esperanza de vida media)

Un estudio quiere generar un modelo que permita predecir la esperanza de vida media de los habitantes de una ciudad en función de diferentes variables. Se dispone de información sobre: habitantes, analfabetismo, ingresos, esperanza de vida, asesinatos, universitarios, heladas, área y densidad poblacional.