• La regresión lineal calcula la mejor línea de ajuste
• La pendiente de cambio promedio en \(Y\) por un aumento en una unidad de \(X\)

Resultado \((Y)\): es la variable que queremos explicar o predecir

Predictor \((X)\): es la variable que utilizamos para explicar la variabilidad en \(Y\)

• La pendiente \(\beta\) indica la tasa de cambio ente \(X\) y \(Y\)
• Nos dice en cuánto cambia \(Y\) en promedio con un aumento de una unidad en \(X\)
• El modelo se expresa como \[ Y_i = \alpha + \beta_1 x_i \]

\[ Presupuesto_i = \alpha + \beta_1 Matricula_i \]

\[ Y_i = \alpha + \beta_1 x_i \]

• Donde \(\alpha\) se conoce como el intercepto: el valor de \(Y\) cuando \(X\) toma un valor de \(0\)
• Donde \(\beta\) indica la pendiente de línea de ajuste
• Por cada valor de \(X\) el modelo nos da una predicción de \(Y\)

• La predicción no va ser exactamente el valor observado
• Es una estimación del valor promedio de \(Y\) dados los valores de \(X\)
• La diferencia entre la predicción y lo observado se llama residuo

\[ residuo_i = presupuesto_i - predicción_i \]

• Calculamos el residuo para cada punto

• Algunos valores serán positivos y otros negativos

• Para que todos sean positivos los elevamos al cuadrado

• Se le conoce así a la suma de errores individuales

• Diferente líneas de ajuste tienen distintas SSE

• La línea pasa por el valor medio de \(X\) y el valor medio de \(Y\)
• La pendiente tiene el mismo signo que el coeficiente de correlación
• La suma de residuos del modelo es igual a \(0\)

• Posteriormente se elevan las diferencias ente \(x-\bar{x}\) al cuadrado
• Y se multiplican las diferencias entre \(x-\bar{x}\) y \(y-\bar{y}\)

• Es el valor de \(\beta\) cuando \(X\) es igual a \(0\)
• ¿Cómo calcularla?
  • Sabemos que la línea por por la media de \(x\) y \(y\)

\[ y= \alpha+\beta x \] \[ 4= \alpha+0.6(3) \] \[ \alpha= 4-1.8=2.2 \]

• \(R^2\) mide cuanto de la variación en \(Y\) se explica con el modelo
• Sus valores van de 0 a 1 (la proporción explicada)
• Compara la Suma de Errores Cuadrados (SSE) con la Suma de Errores Totales (TSS)

\[ R^2= SSE/TSS \]

• Es la distancia entre las observaciones y el valor medio de \(Y\)
• Es la línea que obtendríamos si no hubiese relaicón entre \(X\) y \(Y\)

• Asumimos que el valor verdadero de \(\beta\) es cero
  • La hipótesis nula
• Comparamos qué tan inusual sería obtener el estimador que obtuvimos del modelo siendo que \(\beta=0\)
• Para ello utilizamos la distribución \(t\)

• La probabilidad de obtener nuestro estimador asumiendo que \(\beta=0\)
• Esta probabilidad es el p-value

• Los modelos de regresión lineal comparan los coeficientes con la hipótesis nula
• La hipótesis nula es que el valor de \(\beta\) es igual a \(0\)

\(\beta_1 = 0\) vs \(\beta_1 \neq 0\)

Se calcula con:

\[ SE(\hat{\beta}) = \sqrt{ \frac{SSE}{(n-2) \sum (x-\bar{x})^2} } \]

Sabemos que:

• \(SSE=2.4\)
• \(n=5 \Rightarrow n-2=3\)
• \(\sum(x-\bar{x})^2=10\)

Por lo tanto:

\[ SE(\hat{\beta})= \sqrt{ \frac{2.4}{3 \times 10} } = \sqrt{0.08} = 0.2828 \]

Sabemos que:

• \(\hat{\beta}=0.6\)
• \(\beta_0=0\)
• \(SE(\hat{\beta})=0.2828\)

Por lo tanto:

\[ t= \frac{0.6-0}{0.2828}=2.122 \]

• En regresión simple:

\[ gl = n - 2 \]

• Número de observaciones: \(n=5\)

Por lo tanto:

\[ gl = 5-2 = 3 \]

• Utilizamos los gl para obtener el p-value

• Es un método para medir el efecto de varias variables explicativas sobre \(Y\)

\[ y= \alpha+ \beta x_1 + \beta x_2 \]

• Con dos variables explicativas el mejor modelo es el plano que minimiza los residuos al cuadrado

• El coeficiente \(\beta\) es el cambio promedio de \(y\) cuando \(x_j\) incrementa en una unidad mantendiendo el valor de los otros predictores constantes

• ⚠️ Incluir más variables NO significa que vayamos a tener un mejor modelo
• Podemos tener problemas de multicolinealidad
  • Correlación entre las variables explicativas

• Por ello se sugiere revisar la correlación entre variables previo al análisis
  • En R lo podemos hacer con corrplot()

• Linealidad: Existe una relación lineal entre el predictor y el resultado
• Varianza constante: La variabilidad de los errores es constante (son homocedasticos)
• Normalidad: Los errores tienen una distribución normal
• Independencia: Los errores son independientes unos de otros

• Si agregamos demasiadas variables, algunas pueden aparecer correlacionadas con el resultado solo por azar.
• El modelo aprende el ruido en lugar del patrón real.
• Su aparente poder predictivo es una ilusión que no se sostiene fuera de la muestra.

• Utilizamos la base de datos restaurant_inspections liberaría causaldata
• Queremos ver si los restaurantes de cadena tienen más inspecciones que los que tienen pocas sucursales

\[InspectionScore=\beta_0+ \beta_NumberofLocations+\epsilon\]

• Dos indicadores son la \(R^2\), la \(R^2 Ajustada\), y \(F-Statistic\)
• La \(R^2\) es una medida de la varianza que es explicada del modelo
  • Cuánto de \(Y\) está siendo explicado por el modelo
• La \(R^2 Ajustada\) es lo mismo, pero ajusta por el número de variables en el modelo

• \(F-Statistic\) parte de la hipótesis nula de que todos los coeficientes del modelo (con excepción de la constante) son iguales a cero

• Si el \(R^2\) o el \(R^2\) ajustado son pequeños, o si los errores estándar son grandes, eso indica que hay muchos factores que influyen en \(y\) y que no están incluidos en el modelo.

• ❗La interpretación de los coeficientes se dan controlando por otras variables
• Decimos que \(\beta\) indica en cuanto cambia \(Y\) por el aumento de una unidad en \(X\) manteniendo los demás valores constantes

• La constante es nuestra predicción para \(Y\) cuando todos los predictores son iguales a cero

• ⚠️Si los valores de la independiente no pueden llegar a cero, entonces su valor no es muy informativo

• Por lo general se utilizan subíndices en las variables \(X_i\) o \(X_{Edu}\)
• También los observamos en los coeficientes \(\beta_0\)
• Un modelo se puede expresar como \[ Y= \beta_0+ \beta_1X_i+ \epsilon_i\]
• La \(i\) nos indica en qué varía los datos.
  • Por ejemplo, entre individus o países

• De manera alternativa podemos tener un modelo como \[ Y= \beta_0+ \beta_1X_{t-1}+ \epsilon_{t}\]
• Esto indica que la varianza es a través del tiempo
  • Cada observación tiene un tiempo distinto

• En ocasiones la varianza se presenta entre individuos y diferentes periodos de tiempo

\[ Y= \beta_g+ \beta_t + \beta_1X_{it}+ \beta_2W_{i}+\epsilon_{it}\] - Esto ocurre cuando tenemos datos panel:

• Hay un intercepto diferente para cada periodo de tiempo \(\beta_t\)
• Y un intercepto para cada grupo \(\beta_g\)
• En este modelo también controlamos por una variable que no cambia en el tiempo \(\beta_2W_{i}\)

• Por ejemplo variables que son binarias verdaderas o falsas
  • Un individuo recibió el tratamiento o no
  • Hombre o mujer
  • Casado o soltero
• ¿Cómo interpretar los coeficientes de estas variables?

• \(\beta\) nos da el diferencia en la variable dependiente entre los verdaderos y falsos
• Si corremos el modelo \[ Salario= \beta_0+\beta_1Hombre+ \epsilon\]
• \(\beta_1\) indica cuánto más gana en promedio un hombre en comparación con una mujer

• Los pinguinos machos tienen, en promedio, un estatura de 7mm más que las hembras

• Algunas variables discretas tienen más de dos valores
  • Por ejemplo, país de origen o partido político al que pertenecen
• En estos casos otorgamos un valor binario a cada una de las categorías
  • País: Mexico=0, No México=0, Estados Unidos=1, No Estados Unidos=0, etc

• Solamente excluimos UN valor de las categorías
  • Por ejemplo, India
• 🚨 Los resultados se comapran con respecto a la categoría base (categoría de referencia)

• Consiste en aplicar una función sobre una variable antes de usarla
• El objetivo es que su distribución se vuelva normal
• Por lo general se aplica el logaritmo natural base \(e\)
• Algunas variables pueden estar sesgadas y la transformación nos ayuda a lidiar con esos outliers
  • Los outliers producen errores grandes
  • Pueden afectar la inclinación de la línea

• ⚠️ El logaritmo de cero es indefinido
• Cuando tenemos valores de cero en la base podemos sumar una unidad a todas las observaciones \(log(x+1)\)
• Una alternativa es exponenciar todos los valores en lugar de utilizar el logaritmo \(x^2\)

• Consiste en sustraer la media de la variable y dividirlo por la desviación estándar
• Permite una interpretación sencilla de los coeficientes
• El coeficiente nos dice cuánto aumenta \(Y\) con el incremtno de una desviación estándar de \(X\)

• Algunos efectos pueden estar condicionados a una tercera variables
  • La relación entre Años de estudios e Ingreso pueden estar condiconados por el Genero
• Las interacciones multiplican dos variables incluidas en la regresión

\[ Y= \beta_0+ \beta_1X + \beta_2Z+ \beta_3XZ+\epsilon\]

• El modelo incluye tanto la interacción (multiplicación) de los dos términos como las variables individuales
• La interpretación de los coeficientes es distinta a los modelos previos
• ⚠️ Los factores indviduales son la base de referencia para cuando \(Z\) es igual a cero

• El coeficiente NumberofLocations=-0.019 es el valor del número de locaciones para los No fines de semana
• Para saber el efecto del fin de semana sumamos -.019-.010
  • En los fines de semana el efecto es -.029