Correlaciones entre variables del Censo de Viviendas, Hogares y Personas e ingresos promedios comunales de la CASEN 2017.
VE-CC-AJ
DataIntelligenceViernes 02-07-2021
Abstract
Calculamos correlaciones entre el ingreso promedio comunal multiplicado por la poblaciĆ³n comunal que llamaremos ingresos expandidos extraĆdo de la Casen 2017 y las frecuencias de categorĆas de respuesta para todas las variables del Censo de viviendas, hogares y personas al 2017, tambiĆ©n extraĆdas a nivel comunal.
Haremos las correlaciones tanto a nivel Urbano como rural.
Importante es aplicar la libreria dplyr para evitar que en los filtros se desplieguen series de tiempo.
Area: urbano = 1 rural = 2
URBANO
1 ConstrucciĆ³n de tablas con frecuencias de respuesta por categorĆa desde el Censo: Viviendas
1.1 Pregunta P01: Tipo de vivienda
Ćsta pregunta posee 10 categorĆas de respuesta:
1 Casa
2 Departamento en edificio
3 Vivienda tradicional indĆgena (ruka, pae pae u otras)
4 Pieza en casa antigua o en conventillo
5 Mediagua, mejora, rancho o choza
6 MĆ³vil (carpa, casa rodante o similar)
7 Otro tipo de vivienda particular
8 Vivienda colectiva
9 Operativo personas en trƔnsito (no es vivienda)
10 Operativo calle (no es vivienda)
1.2 CƔlculo de correlaciones a nivel nacional
Leemos las respuestas a la pregunta P01 del censo de viviendas 2017 y obtenemos la tabla de frecuencias por categorĆa de respuesta:
tabla_con_clave <- readRDS("../censo_viviendas_con_clave_17.rds")
tabla_con_clave_u <- filter(tabla_con_clave, tabla_con_clave$AREA == 1)
b <- tabla_con_clave_u$COMUNA
c <- tabla_con_clave_u$P01
cross_tab = xtabs( ~ unlist(b) + unlist(c))
tabla <- as.data.frame(cross_tab)
d <-tabla[!(tabla$Freq == 0),]
d$anio <- "2017"
d_t <- filter(d,d$unlist.c. == 1)
for(i in 2:10){
d_i <- filter(d,d$unlist.c. == i)
d_t = merge( x = d_t, y = d_i, by = "unlist.b.", all.x = TRUE)
}# Agregamos un cero a los cĆ³digos comunales de 4 dĆgitos, que queda en la columna llamada **cĆ³digo**:
codigos <- d_t$unlist.b.
rango <- seq(1:nrow(d_t))
cadena <- paste("0",codigos[rango], sep = "")
cadena <- substr(cadena,(nchar(cadena)[rango])-(4),6)
codigos <- as.data.frame(codigos)
cadena <- as.data.frame(cadena)
comuna_corr <- cbind(d_t,cadena)
comuna_corr <- comuna_corr[,-c(1),drop=FALSE] names(comuna_corr)[31] <- "cĆ³digo"#Hacemos la uniĆ³n con los ingresos promedio comunales expandidos:
ingresos_expandidos_2017 <- readRDS("Ingresos_expandidos_urbano_17.rds")
df_2017_2 = merge( x = comuna_corr, y = ingresos_expandidos_2017, by = "cĆ³digo", all.x = TRUE)
# Renombre de columnas
names(df_2017_2)[3] <- "Casa"
names(df_2017_2)[6] <- "Departamento"
names(df_2017_2)[9] <- "Vivienda_tradicional_ind "
names(df_2017_2)[12] <- "Pieza"
names(df_2017_2)[15] <- "Mediagua"
names(df_2017_2)[18] <- "MĆ³vil"
names(df_2017_2)[21] <- "Otro_tipo"
names(df_2017_2)[24] <- "Vivienda_colectiva"
names(df_2017_2)[27] <- "Operativo_personas"
names(df_2017_2)[30] <- "Operativo_calle "1.2 Correlaciones
1.2.1Pearson
El coeficiente de correlaciĆ³n de Pearson es probablemente la medida mĆ”s utilizada para las relaciones lineales entre dos variables distribuidas normales y, por lo tanto, a menudo se denomina simplemente ācoeficiente de correlaciĆ³nā. Por lo general, el coeficiente de Pearson se obtiene mediante un ajuste de mĆnimos cuadrados y un valor de 1 representa una relaciĆ³n positiva perfecta, -1 una relaciĆ³n negativa perfecta y 0 indica la ausencia de una relaciĆ³n entre las variables.
\[ \rho = \frac{\text{cov}(X,Y)}{\sigma_x \sigma_y} codigos <- d_t \] \[ r = \frac{{}\sum_{i=1}^{n} (x_i - \overline{x})(y_i - \overline{y})} {\sqrt{\sum_{i=1}^{n} (x_i - \overline{x})^2(y_i - \overline{y})^2}} \]
III <- seq(3,ncol(df_2017_2),3)
my_data <- df_2017_2[, c(III)]
chart.Correlation(my_data, histogram=TRUE, method = c( "pearson"), pch=20)
1.2.2 Spearman
Relacionado con el coeficiente de correlaciĆ³n de Pearson, el coeficiente de correlaciĆ³n de Spearman (rho) mide la relaciĆ³n entre dos variables. La rho de Spearman puede entenderse como una versiĆ³n basada en rangos del coeficiente de correlaciĆ³n de Pearson, que se puede utilizar para variables que no tienen una distribuciĆ³n normal y tienen una relaciĆ³n no lineal. AdemĆ”s, su uso no solo estĆ” restringido a datos continuos, sino que tambiĆ©n puede usarse en anĆ”lisis de atributos ordinales.
\[ \rho = 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}} \]
III <- seq(3,ncol(df_2017_2),3)
my_data <- df_2017_2[, c(III)]
chart.Correlation(my_data, histogram=TRUE, method = c( "spearman"), pch=20)
1.2.3 Kendall
Similar al coeficiente de correlaciĆ³n de Pearson, la tau de Kendall mide el grado de una relaciĆ³n monĆ³tona entre variables y, como la rho de Spearman, calcula la dependencia entre variables clasificadas, lo que hace que sea factible para datos distribuidos no normales. Kendall tau se puede calcular tanto para datos continuos como ordinales. En tĆ©rminos generales, la tau de Kendall se distingue de la rho de Spearman por una penalizaciĆ³n mĆ”s fuerte de las dislocaciones no secuenciales (en el contexto de las variables clasificadas).
\[ \tau = \frac{c-d}{c+d} = \frac{S}{ \left( \begin{matrix} n \\ 2 \end{matrix} \right)} = \frac{2S}{n(n-1)} \]
\[\tau = \frac{S}{\sqrt{n(n-1)/2-T}\sqrt{n(n-1)/2-U}} \\ \\ T = \sum_t t(t-1)/2 \\ \\ U = \sum_u u(u-1)/2 \\\]
III <- seq(3,ncol(df_2017_2),3)
my_data <- df_2017_2[, c(III)]
chart.Correlation(my_data, histogram=TRUE, method = c( "kendall"), pch=20)
RURAL
2 CƔlculo de correlaciones a nivel nacional rural
tabla_con_clave <- readRDS("../censo_viviendas_con_clave_17.rds")
tabla_con_clave_u <- filter(tabla_con_clave, tabla_con_clave$AREA == 2)
b <- tabla_con_clave_u$COMUNA
c <- tabla_con_clave_u$P01
cross_tab = xtabs( ~ unlist(b) + unlist(c))
tabla <- as.data.frame(cross_tab)
d <-tabla[!(tabla$Freq == 0),]
d$anio <- "2017"
d_t <- filter(d,d$unlist.c. == 1)
for(i in 2:10){
d_i <- filter(d,d$unlist.c. == i)
d_t = merge( x = d_t, y = d_i, by = "unlist.b.", all.x = TRUE)
}
# Agregamos un cero a los cĆ³digos comunales de 4 dĆgitos, que queda en la columna llamada **cĆ³digo**:
codigos <- d_t$unlist.b.
rango <- seq(1:nrow(d_t))
cadena <- paste("0",codigos[rango], sep = "")
cadena <- substr(cadena,(nchar(cadena)[rango])-(4),6)
codigos <- as.data.frame(codigos)
cadena <- as.data.frame(cadena)
comuna_corr <- cbind(d_t,cadena)
comuna_corr <- comuna_corr[,-c(1),drop=FALSE]
names(comuna_corr)[31] <- "cĆ³digo" # Hacemos la uniĆ³n con los ingresos promedio comunales expandidos:
ingresos_expandidos_2017 <- readRDS("Ingresos_expandidos_rural_17.rds")
df_2017_2 = merge( x = comuna_corr, y = ingresos_expandidos_2017, by = "cĆ³digo", all.x = TRUE)# Renombre de columnas
names(df_2017_2)[3] <- "Casa"
names(df_2017_2)[6] <- "Departamento"
names(df_2017_2)[9] <- "Vivienda_tradicional_ind "
names(df_2017_2)[12] <- "Pieza"
names(df_2017_2)[15] <- "Mediagua"
names(df_2017_2)[18] <- "MĆ³vil"
names(df_2017_2)[21] <- "Otro_tipo"
names(df_2017_2)[24] <- "Vivienda_colectiva"
names(df_2017_2)[27] <- "Operativo_personas"
names(df_2017_2)[30] <- "Operativo_calle"
# Correlaciones2.2 Correlaciones
2.2.1Pearson
El coeficiente de correlaciĆ³n de Pearson es probablemente la medida mĆ”s utilizada para las relaciones lineales entre dos variables distribuidas normales y, por lo tanto, a menudo se denomina simplemente ācoeficiente de correlaciĆ³nā. Por lo general, el coeficiente de Pearson se obtiene mediante un ajuste de mĆnimos cuadrados y un valor de 1 representa una relaciĆ³n positiva perfecta, -1 una relaciĆ³n negativa perfecta y 0 indica la ausencia de una relaciĆ³n entre las variables.
\[ \rho = \frac{\text{cov}(X,Y)}{\sigma_x \sigma_y} codigos <- d_t \] \[ r = \frac{{}\sum_{i=1}^{n} (x_i - \overline{x})(y_i - \overline{y})} {\sqrt{\sum_{i=1}^{n} (x_i - \overline{x})^2(y_i - \overline{y})^2}} \]
III <- seq(3,ncol(df_2017_2),3)
my_data <- df_2017_2[, c(3,6,9,12,15,18,21,24,37)]
chart.Correlation(my_data, histogram=TRUE, method = c( "pearson"), pch=20)
2.2.2 Spearman
Relacionado con el coeficiente de correlaciĆ³n de Pearson, el coeficiente de correlaciĆ³n de Spearman (rho) mide la relaciĆ³n entre dos variables. La rho de Spearman puede entenderse como una versiĆ³n basada en rangos del coeficiente de correlaciĆ³n de Pearson, que se puede utilizar para variables que no tienen una distribuciĆ³n normal y tienen una relaciĆ³n no lineal. AdemĆ”s, su uso no solo estĆ” restringido a datos continuos, sino que tambiĆ©n puede usarse en anĆ”lisis de atributos ordinales.
\[ \rho = 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}} \]
III <- seq(3,ncol(df_2017_2),3)
my_data <- df_2017_2[, c(3,6,9,12,15,18,21,24,37)]
chart.Correlation(my_data, histogram=TRUE, method = c( "spearman"), pch=20)
2.2.3 Kendall
Similar al coeficiente de correlaciĆ³n de Pearson, la tau de Kendall mide el grado de una relaciĆ³n monĆ³tona entre variables y, como la rho de Spearman, calcula la dependencia entre variables clasificadas, lo que hace que sea factible para datos distribuidos no normales. Kendall tau se puede calcular tanto para datos continuos como ordinales. En tĆ©rminos generales, la tau de Kendall se distingue de la rho de Spearman por una penalizaciĆ³n mĆ”s fuerte de las dislocaciones no secuenciales (en el contexto de las variables clasificadas).
\[ \tau = \frac{c-d}{c+d} = \frac{S}{ \left( \begin{matrix} n \\ 2 \end{matrix} \right)} = \frac{2S}{n(n-1)} \]
\[\tau = \frac{S}{\sqrt{n(n-1)/2-T}\sqrt{n(n-1)/2-U}} \\ \\ T = \sum_t t(t-1)/2 \\ \\ U = \sum_u u(u-1)/2 \\\]
III <- seq(3,ncol(df_2017_2),3)
my_data <- df_2017_2[, c(3,6,9,12,15,18,21,24,37)]
chart.Correlation(my_data, histogram=TRUE, method = c( "kendall"), pch=20)
2.1 No se pueden establecer operaciones con Operativo calle y Operativo personas pues no tienen valores suficientes para que el algoritmo de correlaciĆ³n funcione.
abc <- cbind(data.frame(df_2017_2$Operativo_personas),data.frame(df_2017_2$Operativo_calle))
kbl(abc) %>%
kable_styling(bootstrap_options = c("striped", "hover")) %>%
kable_paper() %>%
scroll_box(width = "100%", height = "300px")| df_2017_2.Operativo_personas | df_2017_2.Operativo_calle |
|---|---|
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| 1 | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| 1 | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| 1 | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |
| NA | NA |