La presente tarea tiene el objetivo de evidenciar la comprensión y aplicación de los fundamentos estadísticos para la ciencia de datos, enfocándose en la usabilidad del análisis de datos y la presentación de resultados.

En el mismo orden de la idea anterior,para su consecución se considera la base datos disponible de una fuente oficial que es el Instituto de Estadísticas y Censo INEC, la base de datos es la Encuesta Nacional Hogares.

En la dinámica de la introducción el ente oficial de la data analizada basa sus encuestas en diseños de muestras probabilísticas, por lo tanto, las variables tienen leyes de probabilidad asociadas, eso es de suma importancia para la aplicación de técnicas de estimación como es el caso de los modelos de regresión lineal.

Cargar librerías

library(haven) # para cargar la base de datos en SPSS
## Warning: package 'haven' was built under R version 4.3.3
library(lmtest) # para prueba de homocedasticidad
## Warning: package 'lmtest' was built under R version 4.3.3
## Loading required package: zoo
## Warning: package 'zoo' was built under R version 4.3.3
## 
## Attaching package: 'zoo'
## The following objects are masked from 'package:base':
## 
##     as.Date, as.Date.numeric
library(dplyr)
## Warning: package 'dplyr' was built under R version 4.3.3
## 
## Attaching package: 'dplyr'
## The following objects are masked from 'package:stats':
## 
##     filter, lag
## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union
library(ggplot2)
## Warning: package 'ggplot2' was built under R version 4.3.3
library(rmarkdown)

A continuación, se encuentra la ruta donde se encuentra la base de datos, una vez encontrada la ruta se procede a la subida de la base de datos.

setwd("C:/Users/usuario/Desktop/TAREA MAESTRIA/02 TABLAS DE TRABAJO")

library(haven)
encuesta <- read_sav("C:/Users/usuario/Desktop/TAREA MAESTRIA/02 TABLAS DE TRABAJO/10 ENIGHUR11_HOGARES_AGREGADOS.SAV")
View(encuesta)
  1. Tratamiento de base de datos
Recodificacion y seleccion de variables 
base <- encuesta %>% 
  select(miemhogar=numpers, gasto=gas_cor_tot, ingreso=ing_cor_tot, provincia=Provincia,
         sexo, edad, educacion=instruccion) %>% 
  mutate(provincia = case_when(as.numeric(provincia)<=6|as.numeric(provincia)==10 | as.numeric(provincia)==11| as.numeric(provincia)==17 | as.numeric(provincia)==18 ~ "Sierra", 
                               as.numeric(provincia)<=9 | as.numeric(provincia)==23 | as.numeric(provincia)==24 ~ "Costa",
                               as.numeric(provincia)<=22 ~ "Oriente",TRUE ~ "Galápagos"),
          educacion = case_when(as.numeric(educacion)==1 ~ "Ninguno",
                               as.numeric(educacion)==2 ~ "Alafabetización", 
                               as.numeric(educacion)==3 ~ "Primaria",
                               as.numeric(educacion)==4 ~ "Secundaria", TRUE ~ "Superior"),
          gasto=gasto/12,
          ingreso=ingreso/12, 
          sexo=if_else(sexo==1,"Hombre","Mujer"))

Convertimos a factor las variables provincia, educacion y sexo

base <- base %>% 
  mutate(provincia=as.factor(provincia),
         educacion=as.factor(educacion),
         sexo=as.factor(sexo))
  1. Análisis gráfico
base %>% 
  slice_sample(n=1000) %>% 
  ggplot(aes(x=log(ingreso), y=log(gasto))) +
  geom_point() +
  geom_smooth(method="lm", color="red")
## `geom_smooth()` using formula = 'y ~ x'

Gráfico por sexo

base %>% 
  slice_sample(n=1000) %>% 
  ggplot(aes(x=log(ingreso), y=log(gasto))) +
  geom_point(aes(color=sexo)) +
  geom_smooth(method="lm", color="red") +
  facet_wrap(~sexo)
## `geom_smooth()` using formula = 'y ~ x'

Análisis descriptivos de variables cuantitativas

resumen_gasto <- summary(base$gasto)
resumen_ingreso <- summary(base$ingreso)
resumen_edad <- summary(base$edad)

En el caso de la varaible gasto la media aritmética es de $69.61, en este caso dicho valor es el mejor estimador del gasto poblacional, el argumento que respalda dicha aseveración es el Teorema de Límite Central. Por otro lado, el 50% de la muestra sus gastos están entre $0.81 hasta $53.45 y la otra mitad de $53.45 hasta $1922.

En el caso de la variable ingreso la media aritmética es de $76.61, en este caso dicho valor es el mejor estimador del ingreso poblacional, el argumento que respalda dicha aseveración es el Teorema de Límite Central. Por otro lado, el 50% de la muestra sus ingresos están entre $2.23 hasta $56.33 y la otra mitad de $56.33 hasta $4839.

Gráficos de Diagrama de Caja

boxplot(base$gasto)

boxplot(base$ingreso)

boxplot(base$edad)

En el orden de lo declarado con anterioridad, los estadígrafos analizados permiten de manera intuitiva considerar que las variables cuantitaivas carecen de una distribución normal, dicha conclusión se arguementa por la diferencia entre la media y la mediana, no obstante, en la variable edad no se manifiesta un valor muy grande.

En el mismo orden de ideas, el diagrama de caja y bigote corrobora la intuición antes descritas, adicional las variables ingreso y gasto evidencian muchos datos atípicos que pudieran afectar una futura modelación econométrica. Por otro lado, la varaible edad no contiene muchos datos atípicos, se observan muy pocos.

  1. Estimación del modelo lineal

Antes de empezar con la modelación lineal, se comprueba si existe una relación lineal entre el ingreso y el gasto, para ello se aplica el coeficiente de correlación.

Coeficiente de correlación

cor(x = base$ingreso, y = base$gasto)
## [1] 0.7598562

A continuación, se procede a aplicar la técnica de mínimos cuadrados una vez que se ha comprobado una relación directa lineal fuerte entre el ingreso y el gasto (r = 0.7999), en el mismo orden de ideas, se considera un primer modelo.

Modelo 1

reg1 <- lm(gasto ~ ingreso + edad, data=base)
summary(reg1)
## 
## Call:
## lm(formula = gasto ~ ingreso + edad, data = base)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -2429.37   -14.79    -6.77     6.03  1875.54 
## 
## Coefficients:
##              Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 28.605257   0.626943  45.627  < 2e-16 ***
## ingreso      0.576984   0.002479 232.795  < 2e-16 ***
## edad        -0.067029   0.011911  -5.628 1.84e-08 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 38.27 on 39614 degrees of freedom
## Multiple R-squared:  0.5777, Adjusted R-squared:  0.5777 
## F-statistic: 2.71e+04 on 2 and 39614 DF,  p-value: < 2.2e-16

Contraste de hipótesis (Prueba de Significancia Individual) $$

Ho: beta1 = 0 (no es signifativo estadisticamente) H1: beta1 !=0 (es signifativo estadisticamente)

Ho: beta2 = 0 (no es signifativo estadisticamente) H1: beta2 !=0 (es signifativo estadisticamente)

\[ Contraste de hipótesis (Prueba de Significancia Global) \]

Ho: beta1 = beta2 = 0 (no son signifativos estadisticamente) H1: beta1 != beta2 != 0 (son signifativos estadisticamente)

\[ Reglas p-valor \]

p-valor > 0.05 No Rechazo Ho

p-valor < 0.05 Rechazo Ho

$$ Análisis del modelo 1

Como se observa en el resumen del modelo 1, las dos variables independientes son estadísticamente significativas, el argumento se basa a partir del contraste de hipótesis (Prueba de Significancia Individual) y su p-valor, al ser estos menores que 0.05, se rechaza la hipótesis nula, entonces beta1 y beta 2 son diferentes de cero.

Por otra parte, la Prueba de Significancia Global que trabaja con la Distribución F de Fisher, el p-valor es menor que el nivel de significancia (0.05), entonces se rechaza la hipotesis nula, en consecuencia, los betas son diferentes de cero.

Modelo 2

reg2 <- lm(gasto ~ ingreso + edad + educacion, data=base)
summary(reg2)
## 
## Call:
## lm(formula = gasto ~ ingreso + edad + educacion, data = base)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -2223.07   -14.23    -5.26     6.76  1877.60 
## 
## Coefficients:
##                      Estimate Std. Error t value Pr(>|t|)    
## (Intercept)         12.361634   2.147358   5.757 8.64e-09 ***
## ingreso              0.529362   0.002645 200.118  < 2e-16 ***
## edad                 0.132344   0.012779  10.357  < 2e-16 ***
## educacionNinguno    -5.991957   2.157238  -2.778  0.00548 ** 
## educacionPrimaria    3.716615   2.041174   1.821  0.06864 .  
## educacionSecundaria 12.860332   2.060326   6.242 4.37e-10 ***
## educacionSuperior   27.237788   2.087905  13.046  < 2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 37.35 on 39610 degrees of freedom
## Multiple R-squared:  0.5979, Adjusted R-squared:  0.5978 
## F-statistic:  9815 on 6 and 39610 DF,  p-value: < 2.2e-16

$$

Ho: beta1 = 0 (no es signifativo estadisticamente) H1: beta1 !=0 (es signifativo estadisticamente)

Ho: beta2 = 0 (no es signifativo estadisticamente) H1: beta2 !=0 (es signifativo estadisticamente)

Ho: beta3 = 0 (no es signifativo estadisticamente) H1: beta3 !=0 (es signifativo estadisticamente)

\[ Contraste de hipótesis (Prueba de Significancia Global) \]

Ho: beta1 = beta2 = beta3 = 0 (no son signifativos estadisticamente) H1: beta1 != beta2 != beta3 != 0 (son signifativos estadisticamente)

\[ Reglas p-valor \]

p-valor > 0.05 No Rechazo Ho

p-valor < 0.05 Rechazo Ho

$$ Con respecto al segundo modelo las variables ingreso, edad y educación son estadísticamente significativas, debido al valor p cuyos valores son menores que el 5%, adicional en la prueba de significancia global, las variables explicativas en término general es significativa, como se observa en la hipótesis nula que es rechazada a partir de la técnica del p-valor.

Una vez analizado de manera individual los 2 modelos, ahora se elige el mejor modelo, para ello aplicamos los criterios de informacion AIC y BIC.

Análisis Criterios de Información

AIC(reg1, reg2)
##      df      AIC
## reg1  4 401215.6
## reg2  8 399286.0
BIC(reg1, reg2)
##      df      BIC
## reg1  4 401249.9
## reg2  8 399354.7

Si se compara entre los 2 modelos, a partir de sus criterios de información AIC y BIC, además de su bondad de ajuste el mejor modelo es el modelo 2.

Ahora se procede a la evaluación post estimación

  1. Post estimación (test de diagnóstico)

Prueba de Homocedasticidad

A continuación, se grafica los residuos con la intención de observar de manera intuitiva la existencia de heterocedasticidad

residuos <- resid(reg2)
obs <- c(1:39617)
plot(obs, residuos, type="l")

De manera gráfica se observa que los residuos no mantienen una varianza constante, existe una sospecha de heterocedasticidad. A continuación, se plantean las hipótesis de la prueba de homocedasticidad.

Planteamiento de Hipótesis para la presencia de heterocedasticidad en los residuos $$

Ho: Residuos Homocedásticos H1: Residuos Heterocedásticos

$$ Test de Goldfed-Quant

gqtest(reg2)
## 
##  Goldfeld-Quandt test
## 
## data:  reg2
## GQ = 1.5154, df1 = 19802, df2 = 19801, p-value < 2.2e-16
## alternative hypothesis: variance increases from segment 1 to 2

Considerando la prueba de Goldfed-Quant se confirma la sospecha de heterocedasticidad, la prueba arroja un p-valor de 2.2e-16, dicho valor es menor que 0.05, por lo tanto se rechaza Ho (hipótesis nula), los residuos presentan problemas de heterocedasticidad.

Conclusiones:

La base de datos del INEC tiene propiedades de un muestreo probabilístico, entonces viene implícito la ley de la probabilidad, en otras palabras, se consdieran variables aleatorias.

Se consideran algunas variables de la base de datos cualitativas y cuantitativas, a partir de estas variables se elige el segundo modelo de regresión lineal basado en los criterios de información y la bondad de ajuste.

Un elemento importante para la construcción de los modelos de regresión es la utilización de la distribución de probalidades normal, entendiéndose que las estimaciones realizadas en la modelación en el caso de las pruebas de significancia individual se basan en la distribución de probabilidades t de student, en el orden de la idea anterior, el argumento que valida dicho proceso es el Teorema de Límite Central.