¿Qué es correlación?

El grado en que dos eventos ocurren al mismo tiempo

• Si ocurre \(X\) y al mismo tiempo \(Y\) decimos que están positivamente correlacioandas
• Si ocurre \(X\) y \(Y\) tiende a no ocurrir están negativamente correlacionadas

Correlación y causalidad

Variables confusoras

\(Z\) es una variable confusora

• En el ejemplo anterior es la motivación del estudiante

Covarianza

• Es una medida de correlación entre variables
• Calculamos la desviación entre cada observación y la media \[(X_i - \bar{X})\]
• Hacemos lo mismo para \(Y\) \[(Y_i-\bar{Y})\]

• Posteriormente mulitplicamos las dos desviaciones \[(X_i - \bar{X})(Y_i-\bar{Y})\]
• Finalmente, calculamos el promedio de este producto \[cov_{X,Y}=\frac{\sum_{i=1}^{N}(X_{i}-\bar{X})(Y_{i}-\bar{Y})}{N}\]

Coeficiente de correlación

• La covarianza es dificil de interpretar
• El coeficiente de correlación es la covarianza dividida entre el producto de las desviaciones estándar \[corr_{X,Y}=\frac{cov (X, Y)}{\sigma_X\sigma_y}\]
• Toma un valor entre -1 y 1

• La correlación no nos informa sobre la magnitud de la relación entre \(X\) y \(Y\)
• La correlacion solo apunta a la intensidad de la relación
• Pero no sobre cómo cambia \(Y\) con un aumento de \(X\)

Años de Estudio e Ingreso

Cálculo de la Correlación

Fórmula

\[corr_{X,Y}=\frac{cov (X, Y)}{\sigma_X\sigma_y}\]

• Donde:
  • \(\sigma_X\) y \(\sigma_y\) son las desviaciones estándar

Aplicado a nuestro ejemplo

¿Qué hace la regresión lineal?

• La regresión lineal calcula la mejor línea de ajuste
• La pendiente de cambio promedio en \(Y\) por un aumento en una unidad de \(X\)

Términos

Resultado \((Y)\): es la variable que queremos explicar o predecir

Predictor \((X)\): es la variable que utilizamos para explicar la variabilidad en \(Y\)

Modelo de regresión

\[ Y=Modelo+Error \]

Modelo de regresión

• Estima la mejor línea de ajuste
• La línea que minimiza la distancia entre las observaciones y el valor esperado

Interpretación \(\beta\)

• La pendiente \(\beta\) indica la tasa de cambio ente \(X\) y \(Y\)
• Nos dice en cuánto cambia \(Y\) en promedio con un aumento de una unidad en \(X\)
• El modelo se expresa como \[ Y_i = \alpha + \beta_1 x_i \]

\[ Presupuesto_i = \alpha + \beta_1 Matricula_i \]

Interpretación \(\alpha\)

\[ Y_i = \alpha + \beta_1 x_i \]

• Donde \(\alpha\) se conoce como el intercepto: el valor de \(Y\) cuando \(X\) toma un valor de \(0\)
• Donde \(\beta\) indica la pendiente de línea de ajuste
• Por cada valor de \(X\) el modelo nos da una predicción de \(Y\)

Residuo

• La predicción no va ser exactamente el valor observado
• Es una estimación del valor promedio de \(Y\) dados los valores de \(X\)
• La diferencia entre la predicción y lo observado se llama residuo

\[ residuo_i = presupuesto_i - predicción_i \]

Errores cuadrados

• Calculamos el residuo para cada punto

• Algunos valores serán positivos y otros negativos

• Para que todos sean positivos los elevamos al cuadrado

Suma de Errores Cuadrados (SSE)

• Se le conoce así a la suma de errores individuales

• Diferente líneas de ajuste tienen distintas SSE

Propiedades de Mínimos Cuadrados

• La línea pasa por el valor medio de \(X\) y el valor medio de \(Y\)
• La pendiente tiene el mismo signo que el coeficiente de correlación
• La suma de residuos del modelo es igual a \(0\)

Cómo calcular \(\beta\)

Paso 2

Paso 3

Paso 4

Paso 5

• Posteriormente se elevan las diferencias ente \(x-\bar{x}\) al cuadrado
• Y se multiplican las diferencias entre \(x-\bar{x}\) y \(y-\bar{y}\)

Paso 6

\[ \beta=\frac{\Sigma(x-\bar{x})(y-\bar{y}) }{\Sigma(x-\bar{x})^2} \] \[ \beta=\frac{6}{10}=0.6 \]

Constante

• Es el valor de \(\beta\) cuando \(X\) es igual a \(0\)
• ¿Cómo calcularla?
  • Sabemos que la línea por por la media de \(x\) y \(y\)

\[ y= \alpha+\beta x \] \[ 4= \alpha+0.6(3) \] \[ \alpha= 4-1.8=2.2 \]

Coeficiente de determinación

• \(R^2\) mide cuanto de la variación en \(Y\) se explica con el modelo
• Sus valores van de 0 a 1 (la proporción explicada)
• Compara la Suma de Errores Cuadrados (SSE) con la Suma de Errores Totales (TSS) \[ R^2= SSE/TSS \]

Suma de Errores Totales

• Es la distancia entre las observaciones y el valor medio de \(Y\)
• Es la línea que obtendríamos si no hubiese relaicón entre \(X\) y \(Y\)

Prueba de Hipótesis

• Asumimos que el valor verdadero de \(\beta\) es cero
  • La hipótesis nula
• Comparamos qué tan inusual sería obtener el estimador que obtuvimos del modelo siendo que \(\beta=0\)
• Para ello utilizamos la distribución \(t\)

Significancia estadística

• La probabilidad de obtener nuestro estimador asumiendo que \(\beta=0\)
• Esta probabilidad es el p-value

Comparamos los coeficientes con la hipótesis nula

• Los modelos de regresión lineal comparan los coeficientes con la hipótesis nula
• La hipótesis nula es que el valor de \(\beta\) es igual a \(0\)

\(\beta_1 = 0\) vs \(\beta_1 \neq 0\)

¿Qué es el Error Estándar de \(\beta\)?

Cálculo Error Estándar

Se calcula con:

\[ SE(\hat{\beta}) = \sqrt{ \frac{SSE}{(n-2) \sum (x-\bar{x})^2} } \]

Aplicación al ejemplo

Sabemos que:

• \(SSE=2.4\)
• \(n=5 \Rightarrow n-2=3\)
• \(\sum(x-\bar{x})^2=10\)

Por lo tanto:

\[ SE(\hat{\beta})= \sqrt{ \frac{2.4}{3 \times 10} } = \sqrt{0.08} = 0.2828 \]

Puntuación t

Aplicación al ejemplo

Sabemos que:

• \(\hat{\beta}=0.6\)
• \(\beta_0=0\)
• \(SE(\hat{\beta})=0.2828\)

Por lo tanto:

\[ t= \frac{0.6-0}{0.2828}=2.122 \]

Grados de Libertad

• En regresión simple:

\[ gl = n - 2 \]

Aplicación al ejemplo

• Número de observaciones: \(n=5\)

Por lo tanto:

\[ gl = 5-2 = 3 \]

Aplicación al ejemplo

• Utilizamos los gl para obtener el p-value

Ejemplo regresión