Fiabilidad Hoja de Trabajo 1

Parte I

A continuacion haremos un ejemplo sobre un dataset de pruebas para generar una regresion lineal o no lineal para poder encontrar un modelo que nos permita predecir una variable objetivo.

Para ello utilizaremos el siguiente DataSet:

admis1 <- read_csv("~/maestria/2019/trimestre 2/Fiabilidad/Hoja de Trabajo 1/admis1.csv")

Parsed with column specification:
cols(
  `Serial No.` = col_double(),
  `GRE Score` = col_double(),
  `TOEFL Score` = col_double(),
  `University Rating` = col_double(),
  SOP = col_double(),
  LOR = col_double(),
  CGPA = col_double(),
  Research = col_double(),
  `Chance of Admit` = col_double()
)

admis1

Analizemos un poco la estructura del dataset

glimpse(admis1)

Observations: 500
Variables: 9
$ `Serial No.`        <dbl> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 1…
$ `GRE Score`         <dbl> 337, 324, 316, 322, 314, 330, 321, 308, 302, 323, 325, 327, 328,…
$ `TOEFL Score`       <dbl> 118, 107, 104, 110, 103, 115, 109, 101, 102, 108, 106, 111, 112,…
$ `University Rating` <dbl> 4, 4, 3, 3, 2, 5, 3, 2, 1, 3, 3, 4, 4, 3, 3, 3, 3, 3, 3, 3, 3, 4…
$ SOP                 <dbl> 4.5, 4.0, 3.0, 3.5, 2.0, 4.5, 3.0, 3.0, 2.0, 3.5, 3.5, 4.0, 4.0,…
$ LOR                 <dbl> 4.5, 4.5, 3.5, 2.5, 3.0, 3.0, 4.0, 4.0, 1.5, 3.0, 4.0, 4.5, 4.5,…
$ CGPA                <dbl> 9.65, 8.87, 8.00, 8.67, 8.21, 9.34, 8.20, 7.90, 8.00, 8.60, 8.40…
$ Research            <dbl> 1, 1, 1, 1, 0, 1, 1, 0, 0, 0, 1, 1, 1, 1, 1, 0, 0, 1, 0, 0, 1, 0…
$ `Chance of Admit`   <dbl> 0.92, 0.76, 0.72, 0.80, 0.65, 0.90, 0.75, 0.68, 0.50, 0.45, 0.52…

Como vemos este dataset nos cuenta estadisticas de de examenes de prerequsitos para entrar a una universidad y las probabilidades de ser admitidos en la universidad, la descripcion de las variables es la siguiente:

Columna	Descripcion
Serial No	Indica el numero de observacion con el que estamos trabajando.
GRE Score	Corresponde al Graduate Record Examination y consiste en una prueba estandard de administion para todos los graduandos en Estados Unidos.
TOEFL Score	Corresponde a Test of English as a Foreign Language y mide el dominio del Ingles para una persona que lo maneja como segundo idioma y desea acceder a una Universidad en Estados Unidos.
University Rating	Corresponde al ranting de la universidad a la que se desea acceder y este va de 1 a 5.
LOR	Corresponde a Letter of Recommendation se refiere a una carta de recomendacion dada al estudiante por algun mentor o guia.
SOP	Corresponde a Statement of Purpose y es un ensayo largo que las universidades solicitan a todos sus aplicantes.
CGPA	Corresponde a Cumulative Grade Points Average y se se refiere al promedio de notas obtenido por un estudiante de nivel medio.
Research	Indica si el estudiante ha sido investigado o no, se denota con un 1 para si y 0 para no.
Chance of Admit	Se refiere a un valor porcentual dado al estudiante basado en las variables anteriormente definidas. La cual sera el objeto de nuestro estudio.

Antes de comenzar a trabajar partiremos nuestro dataset en dos, uno conteniendo el 70% de los datos y el otro el 30% de los datos. El primero nos servira para entrar el modelo, mientras que el segundo nos servira para probar nuestro modelo propuesto.

i_train <- sample(1:nrow(admis1),size = nrow(admis1)*0.7 )
train_data <- admis1[i_train,]
length(train_data$`Chance of Admit`)

[1] 350

length(train_data$`Chance of Admit`)/length(admis1$`Chance of Admit`)

[1] 0.7

Ahora calculamos la data de prueba:

i_test <- sample(1:nrow(admis1),size = nrow(admis1)*0.3 )
test_data <- admis1[i_test,]
length(test_data$`Chance of Admit`)

[1] 150

length(test_data$`Chance of Admit`)/length(admis1$`Chance of Admit`)

[1] 0.3

Realicemos una grafica de cada una de las variables que nos van a interesar:

Primero veamos GRE Score vs Chance of Admit

plot(train_data %>% select(`GRE Score`, `Chance of Admit`))

Ahora vamos TOEFL Score vs Chance of Admit

plot(train_data %>% select(`TOEFL Score`, `Chance of Admit`))

SOP vs Chance of Admit

plot(train_data %>% select(SOP, `Chance of Admit`))

LOR vs Chance of Admit

plot(train_data %>% select(LOR, `Chance of Admit`))

CGPA vs Chance of Admit

plot(train_data %>% select(CGPA, `Chance of Admit`))

Rating vs Chance of Admit

plot(train_data %>% select(`University Rating`, `Chance of Admit`))

Como podemos apreciar las variables SOP, LORy University Rating parece tener un caracter discreto, mientras que las variables GRE, TOEFL y CGPA parecen ser de caracter continuo.

Ahora vamos a proceder a construir modelos Lineales simples, donde unicamente utilicemos una variable independiente y la variable de Chance of Admit.

Primero Comensamos con GRE Score y Chance of Admit donde planteramos la ecuacion simple de y=mx+b para este caso y = Chance of Admit y x = GRE Score:

fit1 <- lm(data = train_data, `Chance of Admit`~`GRE Score`)
ggplot(fit1$model, aes(x = `GRE Score`, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(method = "lm", col = "red")

Ahora veamos con TOEFL Score y Chance of Admit donde planteramos la ecuacion simple de y=mx+b para este caso y = Chance of Admit y x = TOEFL Score:

fit_toefl <- lm(data = train_data, `Chance of Admit`~`TOEFL Score`)
ggplot(fit_toefl$model, aes(x = `TOEFL Score`, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(method = "lm", col = "red")

Ahora veamos con SOP y Chance of Admit donde planteramos la ecuacion simple de y=mx+b para este caso y = Chance of Admit y x = SOP:

fit_sop <- lm(data = train_data, `Chance of Admit`~`SOP`)
ggplot(fit_sop$model, aes(x = `SOP`, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(method = "lm", col = "red")

Ahora veamos con LOR y Chance of Admit donde planteramos la ecuacion simple de y=mx+b para este caso y = Chance of Admit y x = LOR:

fit_lor <- lm(data = train_data, `Chance of Admit`~`LOR`)
ggplot(fit_lor$model, aes(x = `LOR`, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(method = "lm", col = "red")

Ahora veamos con CGPA y Chance of Admit donde planteramos la ecuacion simple de y=mx+b para este caso y = Chance of Admit y x = CGPA:

fit_cgpa <- lm(data = train_data, `Chance of Admit`~`CGPA`)
ggplot(fit_cgpa$model, aes(x = `CGPA`, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(method = "lm", col = "red")

Ahora veamos con Rating y Chance of Admit donde planteramos la ecuacion simple de y=mx+b para este caso y = Chance of Admit y x = Rating:

fit_rating <- lm(data = train_data, `Chance of Admit`~`University Rating`)
ggplot(fit_rating$model, aes(x = `University Rating`, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(method = "lm", col = "red")

Parte II

Ahora procederemos a crear un modelo con todas las variables y veremos la significancia de cada una, comenzaremos con uno lineal utilizando todas las variables:

fit_lineal <- lm(data = train_data, `Chance of Admit`~`GRE Score`+`TOEFL Score`+`University Rating`+SOP+LOR+CGPA)
summary(fit_lineal)

Call:
lm(formula = `Chance of Admit` ~ `GRE Score` + `TOEFL Score` + 
    `University Rating` + SOP + LOR + CGPA, data = train_data)

Residuals:
      Min        1Q    Median        3Q       Max 
-0.284200 -0.022486  0.005245  0.030623  0.158929 

Coefficients:
                      Estimate Std. Error t value Pr(>|t|)    
(Intercept)         -1.4324778  0.1070904 -13.376  < 2e-16 ***
`GRE Score`          0.0025907  0.0005286   4.901 1.47e-06 ***
`TOEFL Score`        0.0023747  0.0009871   2.406   0.0167 *  
`University Rating`  0.0051420  0.0041676   1.234   0.2181    
SOP                  0.0013548  0.0051324   0.264   0.7920    
LOR                  0.0227016  0.0046106   4.924 1.32e-06 ***
CGPA                 0.1145512  0.0103479  11.070  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.05708 on 343 degrees of freedom
Multiple R-squared:  0.8436,    Adjusted R-squared:  0.8408 
F-statistic: 308.3 on 6 and 343 DF,  p-value: < 2.2e-16

Como podemos ver podemos realizar el siguiente analisis

Variable	Coeficientes	Analisis
GRE Score	Estimado 0.002 y 4.34 para T value	Vemos que el valor de estimacion es pequeno, por lo que esta variable en este modelo contribuye muy poco
TOEFL Score	Estimado 0.002 y 2.68	Como vemos el estimado es igualmente pequeno que el GRE Score
Rating	0.003 y 0.611	El estimado es ligeramente mayor y su t value es cercano a 0 por lo que la hipotesis nula se puede descartar pero no por mucho
SOP	0.001 Y 0.28	Su estimado es bajo y su t value tambien, aporta poco al modelo
LOR	0.018 Y 3.49	Aporta mas al modelo que las variables anteriores
CGPA	0.12 y 9.88	Su estimado es el mas alto, al igual que su T value, es por ello que esta variable parece ser la mas significativa para el modelo

Como vemos las variables mas significativos del modelo son el promedio y la carta de recomendacion, por lo que podriamos enfocarnos unicamnete en estas dos variables para realizar un modelo, sin embargo el GRE y TOEFL tienen un valor alto en T Value por lo que podriamos considerar manteneralas. Por lo que unicamnete sacaremos del model el Rating y el SOP.

Por lo tanto definimos nuestro modelo lineal como CA = GRE + TOEFL + LOR +CGPA, luego procederemos a calcular la prediccion con la data de entrenamiento y la data de prueba, calcularemos los minimos cuadrados y vemos veremos como quedan lso coeficientes para la data de prueba y la de entrenamiento:

ggplot(train_data, aes(x = `GRE Score`+`TOEFL Score`+LOR+CGPA, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(model=fit_1, col = "red")

Ignoring unknown parameters: model

Con esto vemos la diferencia de cuaentre el valor de la preccion para la data de entrenamiento y la data prueba, la diferencia es relativamente grande. Veamos que sucede si convertimos esto en un modelo cuadratico:

ggplot(train_data, aes(x = `GRE Score`+`TOEFL Score`+LOR+CGPA, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(model=fit_2, col = "red")

Ignoring unknown parameters: model

Vemos que no ha variado mucho, aumentemolo a un modelo cubico:

ggplot(train_data, aes(x = `GRE Score`+`TOEFL Score`+LOR+CGPA, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(model=fit_3, col = "red")

Ignoring unknown parameters: model

Finalmente probraremos con una ecuacion elevada a la 4ta:

ggplot(train_data, aes(x = `GRE Score`+`TOEFL Score`+LOR+CGPA, y = `Chance of Admit`)) + 
  geom_point() +
  stat_smooth(model=fit_4, col = "red")

Ignoring unknown parameters: model

Ahora procederemos a anlizar las 4 regresiones y sus predicciones:

plot(1:4,
     c(MSE1_train,MSE2_train,MSE3_train,MSE4_train),
     ylim=c(0,2),
     type='l')
points(1:4,
       c(MSE1_test,MSE2_test,MSE3_test,MSE4_test),
       col='red',
       type='l')

Conclusion

Como vemos los valores entre la prediccion real y la prediccion de prueba son constantes sin importar si utilizamos un modelo lineal o uno a la cuarta, por lo que vemos que el modelo lineal seria el indicado, asi mismo vemos que la diferencia es muy poca por lo que podemos utilizar unicamente el modelo lineal.