Hoja de Trabajo - Extra # 1 - Oscar Padilla

4.1

\(\frac {p(X)} {1 - p(X)}\)

\(p(X) = \frac {e^{\beta_0 + \beta_1 X}} {1 + e^{\beta_0 + \beta_1X}}\)

 

4.2

\(= \frac {\frac {e^{\beta_0 + \beta_1 X}} {1 + e^{\beta_0 + \beta_1 X}}} {1 - \frac {e^{\beta_0 + \beta_1 X}} {1 + e^{\beta_0 + \beta_1 X}}} \\ = \frac {\frac {e^{\beta_0 + \beta_1 X}} {1 + e^{\beta_0 + \beta_1 X}}} { \frac {1 + e^{\beta_0 + \beta_1 X}} {1 + e^{\beta_0 + \beta_1 X}} - \frac {e^{\beta_0 + \beta_1 X}} {1 + e^{\beta_0 + \beta_1 X}} } \\ = \frac {\frac {e^{\beta_0 + \beta_1 X}} {1 + e^{\beta_0 + \beta_1 X}}} {\frac {1} {1 + e^{\beta_0 + \beta_1 X}}} \\ \frac {p(X)} {1 - p(X)} =e^{\beta_0 + \beta_1 X}\)

 

\(p_k(x) = \frac {\pi_k \frac {1} {\sqrt{2 \pi} \sigma_k} \exp(- \frac {1} {2 \sigma_k^2} (x - \mu_k)^2) } {\sum { \pi_l \frac {1} {\sqrt{2 \pi} \sigma_l} \exp(- \frac {1} {2 \sigma_l^2} (x - \mu_l)^2) }} \\ \log(p_k(x)) = \frac {\log(\pi_k) + \log(\frac {1} {\sqrt{2 \pi} \sigma_k}) + - \frac {1} {2 \sigma_k^2} (x - \mu_k)^2 } {\log(\sum { \pi_l \frac {1} {\sqrt{2 \pi} \sigma_l} \exp(- \frac {1} {2 \sigma_l^2} (x - \mu_l)^2) })} \\ \log(p_k(x)) \log(\sum { \pi_l \frac {1} {\sqrt{2 \pi} \sigma_l} \exp(- \frac {1} {2 \sigma_l^2} (x - \mu_l)^2) }) = \log(\pi_k) + \log(\frac {1} {\sqrt{2 \pi} \sigma_k}) + - \frac {1} {2 \sigma_k^2} (x - \mu_k)^2 \\ \delta(x) = \log(\pi_k) + \log(\frac {1} {\sqrt{2 \pi} \sigma_k}) + - \frac {1} {2 \sigma_k^2} (x - \mu_k)^2\)

 

a)En promedio, el 10%. Por simplicidad, ignorando casos cuando X <0.05 y X> 0.95.

b)En promedio, 1%

c)En promedio, \(0.10^{100} * 100 = 10^{-98}%\).

d)Como \(p\) incrementa linealmente, Las observaciones que están geométricamente cerca disminuyen exponencialmente.

5. \(p = 1, l = 0.10 \\ p = 2, l = \sqrt{0.10} ~ 0.32 \\ p = 3, l = 0.10^{1/3} ~ 0.46 \\ ... \\ p = N, l = 0.10^{1/N}\)

 

1. Si el límite de decisión de Bayes es lineal, esperamos que el QDA se desempeñe mejor en el conjunto de entrenamiento porque su mayor flexibilidad dará un mejor ajuste. En el conjunto de pruebas, esperamos que LDA se desempeñe mejor que QDA porque QDA podría sobrepasar la linealidad del límite de decisión de Bayes.

2. Si el límite de decisión de Bayes no es lineal, esperamos que QDA se desempeñe mejor tanto en el entrenamiento como en los conjuntos de pruebas.

c.Esperamos que la precisión de la predicción de la prueba de QDA en relación con la LDA mejore, en general, a medida que aumenta el tamaño de la muestra n porque un método más flexible proporcionará un mejor ajuste, ya que se pueden ajustar más muestras y la variación se compensa con los tamaños de muestra más grandes.

d.Falso ya que con menos puntos de muestra, la varianza de usar un método más flexible, como el QDA, llevaría a un ajuste excesivo, produciendo una tasa de prueba más alta que la LDA.

 

6. \(p(X) = \frac {\exp(\beta_0 + \beta_1 X_1 + \beta_2 X_2)} {1 + \exp(\beta_0 + \beta_1 X_1 + \beta_2 X_2)} \\ X_1 = hours studied, X_2 = undergrad GPA \\ \beta_0 = -6, \beta_1 = 0.05, \beta_2 = 1\)

1. \(X = [40 hours, 3.5 GPA] \\ p(X) = \frac {\exp(-6 + 0.05 X_1 + X_2)} {1 + \exp(-6 + 0.05 X_1 + X_2)} \\ = \frac {\exp(-6 + 0.05 40 + 3.5)} {1 + \exp(-6 + 0.05 40 + 3.5)} \\ = \frac {\exp(-0.5)} {1 + \exp(-0.5)} \\ = 37.75\%\)

 

2. \(X = [X_1 hours, 3.5 GPA] \\ p(X) = \frac {\exp(-6 + 0.05 X_1 + X_2)} {1 + \exp(-6 + 0.05 X_1 + X_2)} \\ 0.50 = \frac {\exp(-6 + 0.05 X_1 + 3.5)} {1 + \exp(-6 + 0.05 X_1 + 3.5)} \\ 0.50 (1 + \exp(-2.5 + 0.05 X_1)) = \exp(-2.5 + 0.05 X_1) \\ 0.50 + 0.50 \exp(-2.5 + 0.05 X_1)) = \exp(-2.5 + 0.05 X_1) \\ 0.50 = 0.50 \exp(-2.5 + 0.05 X_1) \\ \log(1) = -2.5 + 0.05 X_1 \\ X_1 = 2.5 / 0.05 = 50 hours\)

 

7. \(p_k(x) = \frac {\pi_k \frac {1} {\sqrt{2 \pi} \sigma} \exp(- \frac {1} {2 \sigma^2} (x - \mu_k)^2) } {\sum { \pi_l \frac {1} {\sqrt{2 \pi} \sigma} \exp(- \frac {1} {2 \sigma^2} (x - \mu_l)^2) }} \\ p_{yes}(x)= \frac {\pi_{yes} \exp(- \frac {1} {2 \sigma^2} (x - \mu_{yes})^2) } {\sum { \pi_l \exp(- \frac {1} {2 \sigma^2} (x - \mu_l)^2) }} \\ = \frac {\pi_{yes} \exp(- \frac {1} {2 \sigma^2} (x - \mu_{yes})^2)} { \pi_{yes} \exp(- \frac {1} {2 \sigma^2} (x - \mu_{yes})^2) + \pi_{no} \exp(- \frac {1} {2 \sigma^2} (x - \mu_{no})^2) } \\ = \frac {0.80 \exp(- \frac {1} {2 * 36} (x - 10)^2)} { 0.80 \exp(- \frac {1} {2 * 36} (x - 10)^2) + 0.20 \exp(- \frac {1} {2 * 36} x^2) } \\ p_{yes}(4) = \frac {0.80 \exp(- \frac {1} {2 * 36} (4 - 10)^2)} { 0.80 \exp(- \frac {1} {2 * 36} (4 - 10)^2) + 0.20 \exp(- \frac {1} {2 * 36} 4^2) } = 75.2\%\)

 

8. Regresión logística: 20% de tasa de error de entrenamiento, 30% de tasa de error de prueba KNN (K=1): tasa de error promedio de 18%Para KNN con K = 1, la tasa de error de entrenamiento es 0% porque para cualquier observación de entrenamiento, su vecino más cercano será la respuesta en sí. Entonces, KNN tiene una tasa de error de prueba del 36%. Elegiría la regresión logística debido a su menor tasa de error de prueba del 30%.

 

1. \(\frac {p(X)} {1 - p(X)} = 0.37 \\ p(X) = 0.37 (1 - p(X)) \\ 1.37 p(X) = 0.37 \\ p(X) = \frac {0.37} {1.37} = 27\%\)

 

2. \(odds = \frac {p(X)} {1 - p(X)} = .16 / .84 = 0.19\)