1 Introducción

Por alguna extraña razón la Casen del 2020 no contiene la variable que identifica el alfabetismo de las personas, el cual históricamente desde el 2006 al 2017 se ha mantenido bajo el 4%. Lo necesitamos. Nuestra metodología será aplicar una regresión logística sobre alguno de los ingresos, el nivel educacional alcanzado y la ruralidad para construir un clasificador, cuyo objetivo será para el año 2020 construir en términos binarios la estructura de la respuesta al alfabetismo.

Como resultado final obtenemos que la tasa de analfabetismo para el 2020 está estimado en un 3,402% de anafabetismo, representando a unas 663.436 personas. La cifra oficial es de Un total de 516 mil 960 personas en Chile que no saben leer ni escribir¹(publicación con motivo del Día Internacional de la Alfabetización establecido por la ONU desde 1967).

La Encuesta de Caracterización Socioeconómica Nacional (CASEN) de 2017, que se realiza con una periodicidad trienal, indica que en Chile el 3,7 por ciento de las mujeres mayores de 15 años son analfabetas, mientras que entre los hombres en ese rango de edad el porcentaje es de 3,5 (3.6 en promedio)

Las variables utilizadas serán (“e6a”,“zona”,“yaut”, “ysub”, “ytot”, “ytrabajocor”,“yoprcor”,“ymonecorh”,“EDUC” y “e1”) que extraemos de la Casen del 2017.

2 Regresión logística

Leeremos las bases de datos de las Casen 2015, 2017 y 2020

3 2017

Primero construiremos un modelo para el 2017 extrayendo las variables que necesitamos y reconstruímos las categorías de respuesta a la pregunta e1 para obtener un resultado dicotómico.

# casen_2006 <- readRDS(file = "C:/Users/enamo/Desktop/Shiny-R/Casen_en_pandemia_2020/casen/casen_2006_c.rds")
# casen_2009 <- readRDS(file = "C:/Users/enamo/Desktop/Shiny-R/Casen_en_pandemia_2020/casen/casen_2009_c.rds")
# casen_2011 <- readRDS(file = "C:/Users/enamo/Desktop/Shiny-R/Casen_en_pandemia_2020/casen/casen_2011_c.rds")
casen_2015 <- readRDS(file = "C:/Users/chris/OneDrive/Documentos/archivos_grandes/casen_2015_c.rds")
casen_2017 <- readRDS(file = "C:/Users/chris/OneDrive/Documentos/archivos_grandes/casen_2017_c.rds")
casen_2020 <- readRDS(file = "C:/Users/chris/OneDrive/Documentos/archivos_grandes/casen2020.rds")

data_2017 <- casen_2017[,c("e6a","zona","yaut", "ysub", "ytot", "ytrabajocor","yoprcor","educ","e1")]
data_2017 [is.na(data_2017 )] <- 0

head(data_2017,5)

##                                                     e6a   zona   yaut  ysub
## 1                  Educación Media Científico-Humanista Urbano 269000  3000
## 2 Técnico Nivel Superior Completo (Carreras 1 a 3 años) Urbano 159667     0
## 3                   Educación Media Técnica Profesional Urbano 772000 14932
## 4                   Educación Media Técnica Profesional Urbano 220000 81000
## 5                         Humanidades (Sistema Antiguo) Urbano 220000     0
##     ytot ytrabajocor yoprcor                            educ                e1
## 1 272000      160000  160000                M. Hum. Completa Sí, lee y escribe
## 2 159667      159667  150000 Técnico Nivel Superior Completo Sí, lee y escribe
## 3 786932      772000  600000                 M. Téc Completa Sí, lee y escribe
## 4 301000           0       0                 M. Téc Completa Sí, lee y escribe
## 5 220000           0       0                M. Hum. Completa Sí, lee y escribe

data_2017$e1 <- as.character(data_2017$e1)
data_2017$e1[data_2017$e1 == 'Sí, lee y escribe'] <- 1
data_2017$e1[data_2017$e1 == 'No, sólo lee'] <- 0
data_2017$e1[data_2017$e1 == 'No sabe/responde'] <- 0
data_2017$e1[data_2017$e1 == 'No, ninguno'] <-0
data_2017$e1[data_2017$e1 == 'No, sólo escribe'] <- 0
data_2017$e1[is.na(data_2017$e1)] <- 0
data_2017 <- mutate_if(data_2017, is.factor, as.numeric)
dataset <- data_2017
dataset$e1 <- as.numeric(dataset$e1)
head(dataset,5)

##   e6a zona   yaut  ysub   ytot ytrabajocor yoprcor educ e1
## 1   9    1 269000  3000 272000      160000  160000    6  1
## 2  13    1 159667     0 159667      159667  150000    9  1
## 3  11    1 772000 14932 786932      772000  600000    7  1
## 4  11    1 220000 81000 301000           0       0    7  1
## 5   8    1 220000     0 220000           0       0    6  1

El total de encuestados en la Casen del 2017 fueron 216439 individuos.

nrow(data_2017)

## [1] 216439

data_2017 <- casen_2017[,c("e6a","zona","yaut", "ysub", "ytot", "ytrabajocor","yoprcor","e1")]

data_2017 [is.na(data_2017 )] <- 0

data_2017$e1 <- as.character(data_2017$e1)
data_2017$e1[data_2017$e1 == 'Sí, lee y escribe'] <- 1
data_2017$e1[data_2017$e1 == 'No, sólo lee'] <- 0
data_2017$e1[data_2017$e1 == 'No sabe/responde'] <- 0
data_2017$e1[data_2017$e1 == 'No, ninguno'] <-0
data_2017$e1[data_2017$e1 == 'No, sólo escribe'] <- 0
data_2017$e1[is.na(data_2017$e1)] <- 0
data_2017 <- mutate_if(data_2017, is.factor, as.numeric)

data_2017$e1 <- as.numeric (data_2017$e1)
head (data_2017,5)

##   e6a zona   yaut  ysub   ytot ytrabajocor yoprcor e1
## 1   9    1 269000  3000 272000      160000  160000  1
## 2  13    1 159667     0 159667      159667  150000  1
## 3  11    1 772000 14932 786932      772000  600000  1
## 4  11    1 220000 81000 301000           0       0  1
## 5   8    1 220000     0 220000           0       0  1

# division aleatoria de sets
split = sample.split(data_2017$e1, SplitRatio = 0.8)
training_set = subset(data_2017, split == TRUE)
testing_set = subset(data_2017, split == FALSE)

# estandarizacion
training_set[,1:7] = scale(training_set[,1:7])
testing_set[,1:7] = scale(testing_set[,1:7])

# generacion del clasificador:

classifier = glm(formula = e1 ~ .,
                 data = training_set, 
                 family = binomial)

# Prediccion de los data_2017con el conjunto de testing
prob_pred = predict(classifier, type = "response",
                    newdata = testing_set[,-8])

e1_pred = ifelse(prob_pred > 0.01, 1, 0)

# matriz de confusion
tb = table(testing_set[, 8], e1_pred)
tb <- as.data.frame(tb)
tb <- as.data.table(tb)
tb

##    Var1 e1_pred  Freq
## 1:    0       0  1647
## 2:    1       0    35
## 3:    0       1  8160
## 4:    1       1 33446

1680        *100/(1680+22       +8127   +33459)

## [1] 3.880983

(tb[4,3]+tb[1,3])/sum(tb$Freq)

##         Freq
## 1: 0.8106866

(tb[3,3]+tb[2,3])/sum(tb$Freq)

##         Freq
## 1: 0.1893134

(tb[4,3])/sum(tb[4,3]+tb[2,3])

##         Freq
## 1: 0.9989546

(tb[1,3])/sum(tb[1,3]+tb[3,3])

##         Freq
## 1: 0.1679413

(tb[4,3])/sum(tb[3,3]+tb[4,3])

##         Freq
## 1: 0.8038744

(tb[1,3])/sum(tb[2,3]+tb[1,3])

##         Freq
## 1: 0.9791914

data_2015w <- casen_2015[,c("e6a","zona","yaut", "ysub", "ytot", "ytrabajoCor","yoprCor","educ","e1")]

names(data_2015w)[6] <- "ytrabajocor"
names(data_2015w)[7] <- "yoprcor"

data_2015w[is.na(data_2015w)] <- 0


data_2015w$e1 <- as.character(data_2015w$e1)
data_2015w$e1[data_2015w$e1 == 'Sí, lee y escribe'] <- 1
data_2015w$e1[data_2015w$e1 == 'No, sólo lee'] <- 0
data_2015w$e1[data_2015w$e1 == 'No sabe/responde'] <- 0
data_2015w$e1[data_2015w$e1 == 'No, ninguno'] <-0
data_2015w$e1[data_2015w$e1 == 'No, sólo escribe'] <- 0
data_2015w$e1[is.na(data_2015w$e1)] <- 0

data_2015w <- mutate_if(data_2015w, is.factor, as.numeric)

data_2015w[,1:8] = scale(data_2015w[,1:8])

# Prediccion de los data_2017ados con el conjunto de testing
prob_pred = predict(classifier, type = "response", data_2015w)

y_pred = ifelse(prob_pred >  0.01, 1, 0)
 
data_2015w$e1_pred <- y_pred

datatable(head(data_2015w,10), escape = FALSE, rownames = FALSE, options = list( scrollX = TRUE))

nrow(casen_2015)

## [1] 266968

tb2 = table(data_2015w$e1, data_2015w$e1_pred)
tb2 <- as.data.frame(tb2)
tb2 <- as.data.table(tb2)
tb2

##    Var1 Var2   Freq
## 1:    0    0  11089
## 2:    1    0    174
## 3:    0    1  51735
## 4:    1    1 203970

11075       *100/(11075 +173+51749  +203971 )

## [1] 4.148437

(tb2[4,3]+tb2[1,3])/sum(tb2$Freq)

##        Freq
## 1: 0.805561

(tb2[3,3]+tb2[2,3])/sum(tb2$Freq)

##        Freq
## 1: 0.194439

(tb2[4,3])/sum(tb2[4,3]+tb2[2,3])

##         Freq
## 1: 0.9991477

(tb2[1,3])/sum(tb2[1,3]+tb2[3,3])

##        Freq
## 1: 0.176509

(tb2[4,3])/sum(tb2[3,3]+tb2[4,3])

##        Freq
## 1: 0.797677

(tb2[1,3])/sum(tb2[2,3]+tb2[1,3])

##         Freq
## 1: 0.9845512

data_2017_2020 <- casen_2020[,c("e6a","zona","yaut", "ysub", "ytot", "ytrabajocor","yoprcor","educ")]

# para correr la regresion binomial no deben existir NA, los cuales son reemplazados por ceros.:
data_2017_2020[is.na(data_2017_2020)] <- 0

data_2017_2020 <- mutate_if(data_2017_2020, is.factor, as.numeric)

data_2017_2020[,1:8] = scale(data_2017_2020[,1:8])

prob_pred = predict(classifier, type = "response",data_2017_2020)

y_pred = ifelse(prob_pred >  0.01, 1, 0)
  
data_2017_2020$e1_pred <- y_pred

datatable(head(data_2017_2020,10), escape = FALSE, rownames = FALSE, options = list( scrollX = TRUE))

datatable(head(data_2017_2020,10), escape = FALSE, rownames = FALSE,
          options = list( scrollX = TRUE))

casen_2020$e1 <- data_2017_2020$e1_pred
datatable(head(casen_2020,5), escape = FALSE, rownames = FALSE,
          options = list( scrollX = TRUE))

## Warning in instance$preRenderHook(instance): It seems your data is too big
## for client-side DataTables. You may consider server-side processing: https://
## rstudio.github.io/DT/server.html

#saveRDS(casen_2020,"casen_2020_con_e1.rds")


casen_2020_1 <- casen_2020[1:1000,1:10]


kbl(casen_2020_1) %>%
  kable_styling(bootstrap_options = c("striped", "hover")) %>%
  kable_paper() %>%
  scroll_box(width = "100%", height = "300px")