Modelos Estadísticos para la Toma de Decisiones

Actividad 2 - Maestría en Ciencia de Datos - PUJ Cali

#devtools::install_github("dgonxalex80/paqueteMODELOS", force = TRUE)
#devtools::install_github("centromagis/paqueteMODELOS", force = TRUE)
#data <- paqueteMODELOS::vivienda
data(vivienda)

Descripción variables base de datos

A continuación se mencionan las variables que se utilizarán en el ejercicio.

Zona: Registra la zona donde esta ubicada el inmueble esta puede ser: Zona Centro,Zona Norte,Zona Oeste,Zona Oriente,Zona Sur

Piso: Registra el piso ene l cual se ubica la vivienda

Estrato: Variable con escala de medición ordinal,los estrato de las aptos son 3,4,5,6

Preciom: Precio de la vivienda

areaconstu: Area Construida

parqueaderos: Numero de parqueaderos de la vivienda

banios: Número de baños de la propiedad

Habitaciones: Número de habitaciones que posee la vivienda

Tipo: Tipo de la vivienda, casa o apartamento

Barrio: Barrio donde está la vivienda

Longitud: Longitud geográfica

Latitud: Latitud geográfica

Nota: Se eliminó el ID por ser una variable que no contribuye en el ejercicio ni aporta información relevante para el modelo.

0. Reconocimiento del Data set y prelimpieza.

summary(vivienda)

##        id           zona               piso              estrato     
##  Min.   :   1   Length:8322        Length:8322        Min.   :3.000  
##  1st Qu.:2080   Class :character   Class :character   1st Qu.:4.000  
##  Median :4160   Mode  :character   Mode  :character   Median :5.000  
##  Mean   :4160                                         Mean   :4.634  
##  3rd Qu.:6240                                         3rd Qu.:5.000  
##  Max.   :8319                                         Max.   :6.000  
##  NA's   :3                                            NA's   :3      
##     preciom         areaconst       parqueaderos        banios      
##  Min.   :  58.0   Min.   :  30.0   Min.   : 1.000   Min.   : 0.000  
##  1st Qu.: 220.0   1st Qu.:  80.0   1st Qu.: 1.000   1st Qu.: 2.000  
##  Median : 330.0   Median : 123.0   Median : 2.000   Median : 3.000  
##  Mean   : 433.9   Mean   : 174.9   Mean   : 1.835   Mean   : 3.111  
##  3rd Qu.: 540.0   3rd Qu.: 229.0   3rd Qu.: 2.000   3rd Qu.: 4.000  
##  Max.   :1999.0   Max.   :1745.0   Max.   :10.000   Max.   :10.000  
##  NA's   :2        NA's   :3        NA's   :1605     NA's   :3       
##   habitaciones        tipo              barrio             longitud     
##  Min.   : 0.000   Length:8322        Length:8322        Min.   :-76.59  
##  1st Qu.: 3.000   Class :character   Class :character   1st Qu.:-76.54  
##  Median : 3.000   Mode  :character   Mode  :character   Median :-76.53  
##  Mean   : 3.605                                         Mean   :-76.53  
##  3rd Qu.: 4.000                                         3rd Qu.:-76.52  
##  Max.   :10.000                                         Max.   :-76.46  
##  NA's   :3                                              NA's   :3       
##     latitud     
##  Min.   :3.333  
##  1st Qu.:3.381  
##  Median :3.416  
##  Mean   :3.418  
##  3rd Qu.:3.452  
##  Max.   :3.498  
##  NA's   :3

Vemos que para casi todos los atributos hay 3 registros con valores perdidos”. Esos los vamos a quitar asumiendo que son los mismos 3 para todas las columnas. Debemos revisar si persisten en el subconjunto de trabajo. Para los parqueaderos hay 1605 de ese tipo. También los observaremos cuando creemos el subconjunto. Vamos a borrar la columna ID pues no aporta nada para nuestro objetivo.

aptos <- subset(vivienda, !is.na(vivienda$estrato))
aptos$id <- NULL
summary(aptos)

##      zona               piso              estrato         preciom      
##  Length:8319        Length:8319        Min.   :3.000   Min.   :  58.0  
##  Class :character   Class :character   1st Qu.:4.000   1st Qu.: 220.0  
##  Mode  :character   Mode  :character   Median :5.000   Median : 330.0  
##                                        Mean   :4.634   Mean   : 433.9  
##                                        3rd Qu.:5.000   3rd Qu.: 540.0  
##                                        Max.   :6.000   Max.   :1999.0  
##                                                                        
##    areaconst       parqueaderos        banios        habitaciones   
##  Min.   :  30.0   Min.   : 1.000   Min.   : 0.000   Min.   : 0.000  
##  1st Qu.:  80.0   1st Qu.: 1.000   1st Qu.: 2.000   1st Qu.: 3.000  
##  Median : 123.0   Median : 2.000   Median : 3.000   Median : 3.000  
##  Mean   : 174.9   Mean   : 1.835   Mean   : 3.111   Mean   : 3.605  
##  3rd Qu.: 229.0   3rd Qu.: 2.000   3rd Qu.: 4.000   3rd Qu.: 4.000  
##  Max.   :1745.0   Max.   :10.000   Max.   :10.000   Max.   :10.000  
##                   NA's   :1602                                      
##      tipo              barrio             longitud         latitud     
##  Length:8319        Length:8319        Min.   :-76.59   Min.   :3.333  
##  Class :character   Class :character   1st Qu.:-76.54   1st Qu.:3.381  
##  Mode  :character   Mode  :character   Median :-76.53   Median :3.416  
##                                        Mean   :-76.53   Mean   :3.418  
##                                        3rd Qu.:-76.52   3rd Qu.:3.452  
##                                        Max.   :-76.46   Max.   :3.498  
## 

table(aptos$tipo)

## 
## Apartamento        Casa 
##        5100        3219

Vemos que hay 5100 Apartamentos y 3219 Casas en el dataset inicial

1. Filtrar la base de datos

Realice un filtro a la base de datos e incluya sólo las ofertas de apartamentos. Presente los primeros 3 registros de las bases y algunas tablas que comprueben la consulta.

Para lograr esto, se procede a eliminar todos los registros de las casas quitando del dataset todo lo que no sea de ese tipo.

aptos <- subset(aptos, tipo == 'Apartamento')
table(aptos$tipo)

## 
## Apartamento 
##        5100

table(aptos$banios)

## 
##    0    1    2    3    4    5    6    7    8 
##   14  400 2502 1200  635  301   39    8    1

table(aptos$habitaciones)

## 
##    0    1    2    3    4    5    6    7    9 
##   21   49  859 3384  714   63    8    1    1

head(aptos,3)

## # A tibble: 3 × 12
##   zona    piso  estrato preciom areaconst parqueaderos banios habitaciones tipo 
##   <chr>   <chr>   <dbl>   <dbl>     <dbl>        <dbl>  <dbl>        <dbl> <chr>
## 1 Zona N… 01          5     260        90            1      2            3 Apar…
## 2 Zona N… 01          5     240        87            1      3            3 Apar…
## 3 Zona N… 01          4     220        52            2      2            3 Apar…
## # ℹ 3 more variables: barrio <chr>, longitud <dbl>, latitud <dbl>

summary(aptos)

##      zona               piso              estrato         preciom      
##  Length:5100        Length:5100        Min.   :3.000   Min.   :  58.0  
##  Class :character   Class :character   1st Qu.:4.000   1st Qu.: 175.0  
##  Mode  :character   Mode  :character   Median :5.000   Median : 279.0  
##                                        Mean   :4.727   Mean   : 366.9  
##                                        3rd Qu.:6.000   3rd Qu.: 430.0  
##                                        Max.   :6.000   Max.   :1950.0  
##                                                                        
##    areaconst      parqueaderos        banios       habitaciones  
##  Min.   : 35.0   Min.   : 1.000   Min.   :0.000   Min.   :0.000  
##  1st Qu.: 68.0   1st Qu.: 1.000   1st Qu.:2.000   1st Qu.:3.000  
##  Median : 90.0   Median : 1.000   Median :2.000   Median :3.000  
##  Mean   :112.8   Mean   : 1.568   Mean   :2.617   Mean   :2.971  
##  3rd Qu.:130.0   3rd Qu.: 2.000   3rd Qu.:3.000   3rd Qu.:3.000  
##  Max.   :932.0   Max.   :10.000   Max.   :8.000   Max.   :9.000  
##                  NA's   :869                                     
##      tipo              barrio             longitud         latitud     
##  Length:5100        Length:5100        Min.   :-76.59   Min.   :3.334  
##  Class :character   Class :character   1st Qu.:-76.54   1st Qu.:3.380  
##  Mode  :character   Mode  :character   Median :-76.53   Median :3.419  
##                                        Mean   :-76.53   Mean   :3.419  
##                                        3rd Qu.:-76.52   3rd Qu.:3.453  
##                                        Max.   :-76.46   Max.   :3.498  
## 

Vemos que ya no hay casas en el dataset, sin embargo, si hay apartamentos con 0 baños y con 0 habitaciones, algo que es improbable. Estos registros se eliminarán.

aptos <- subset(aptos, banios != 0)
aptos <- subset(aptos, habitaciones != 0)
table(aptos$banios)

## 
##    1    2    3    4    5    6    7    8 
##  399 2497 1199  632  299   39    8    1

table(aptos$habitaciones)

## 
##    1    2    3    4    5    6    7    9 
##   48  859 3381  714   62    8    1    1

Si bien no sabemos todavía nada más en profundidad sobre el dataset, ya hemos eliminado registros vacíos e improbables, al igual que una columna que no sirve para el análisis. Hagamos un último análisis comparando atributos como el precio y el área, la cantidad de baños y el área, y la cantidad de habitaciones y el área, para identificar si hay registros que no parezcan tener información real.

many_rooms <- aptos %>%
  filter(habitaciones >= 7)
many_rooms

## # A tibble: 2 × 12
##   zona    piso  estrato preciom areaconst parqueaderos banios habitaciones tipo 
##   <chr>   <chr>   <dbl>   <dbl>     <dbl>        <dbl>  <dbl>        <dbl> <chr>
## 1 Zona O… <NA>        3     240       315            2      5            9 Apar…
## 2 Zona O… 01          5    1500       500            7      7            7 Apar…
## # ℹ 3 more variables: barrio <chr>, longitud <dbl>, latitud <dbl>

Vemos que hay un apartamento de 315 metros cuadrados, con 9 habitaciones y 5 baños, que solo cuesta 240 millones. No parece lógico. Se eliminará. El de 7 habitaciones, con 7 baños de 1500 millones si parece posible. Se mantendrá.

many_bathrooms <- aptos %>%
  filter(banios >= 7)
many_bathrooms

## # A tibble: 9 × 12
##   zona    piso  estrato preciom areaconst parqueaderos banios habitaciones tipo 
##   <chr>   <chr>   <dbl>   <dbl>     <dbl>        <dbl>  <dbl>        <dbl> <chr>
## 1 Zona S… <NA>        5     730       573            3      8            5 Apar…
## 2 Zona O… <NA>        6    1500       530            4      7            4 Apar…
## 3 Zona S… 03          6     980       250            4      7            4 Apar…
## 4 Zona O… 01          5    1500       500            7      7            7 Apar…
## 5 Zona O… 08          5    1300       300            3      7            5 Apar…
## 6 Zona O… 10          6    1400       459            3      7            6 Apar…
## 7 Zona O… 12          6    1400       475            3      7            5 Apar…
## 8 Zona O… 12          6    1400       475            3      7            5 Apar…
## 9 Zona O… <NA>        6    1350       474            3      7            5 Apar…
## # ℹ 3 more variables: barrio <chr>, longitud <dbl>, latitud <dbl>

La mayoría de estos registro si parecen posibles por el área y el precio, aunque el de 250 m2 a 980 millones con 7 baños y 4 habitaciones no parece coherente con el resto. Se eliminará disminuyendo estos valores atípicos.

too_expensive <- aptos %>%
  filter(areaconst >= 500 & preciom <= 500)
too_expensive

## # A tibble: 2 × 12
##   zona    piso  estrato preciom areaconst parqueaderos banios habitaciones tipo 
##   <chr>   <chr>   <dbl>   <dbl>     <dbl>        <dbl>  <dbl>        <dbl> <chr>
## 1 Zona S… 03          5     170       605            1      2            2 Apar…
## 2 Zona S… 07          5     299       932            1      3            3 Apar…
## # ℹ 3 more variables: barrio <chr>, longitud <dbl>, latitud <dbl>

#aptos <- aptos %>%
#  filter(preciom != 7 | habitaciones != 4)

Por último, vemos un inmueble de valor 299 millones con un área construida de 932 metros cuadrados. Este registro también se considera atípico y se eliminará.

aptos <- aptos %>%
  filter(habitaciones != 9)
aptos <- aptos %>%
  filter(!(areaconst >= 500 & preciom <= 500))
aptos <- aptos %>%
  filter(banios != 7 | habitaciones != 4)
table(aptos$banios)

## 
##    1    2    3    4    5    6    7    8 
##  399 2496 1198  632  298   39    6    1

table(aptos$habitaciones)

## 
##    1    2    3    4    5    6    7 
##   48  858 3380  712   62    8    1

2. Análisis Exploratorio y Correlaciones

Realice un análisis exploratorio de datos enfocado en la correlación entre la variable respuesta (precio de la casa) en función del área construida, estrato, numero de baños, numero de habitaciones y zona donde se ubica la vivienda. Use gráficos interactivos con el paquete plotly e interprete los resultados.

Empezaremos convirtiendo las variables categóricas presentes en el dataset en factores. Estas son: Tipo, Piso, Zona y Barrio.

aptos$tipo <- as.factor(aptos$tipo)
aptos$piso <- as.factor(aptos$piso)
aptos$zona <- as.factor(aptos$zona)
aptos$barrio <- as.factor(aptos$barrio)
summary(aptos)

##            zona           piso         estrato         preciom      
##  Zona Centro :  24   03     : 569   Min.   :3.000   Min.   :  58.0  
##  Zona Norte  :1188   05     : 563   1st Qu.:4.000   1st Qu.: 175.0  
##  Zona Oeste  :1023   04     : 545   Median :5.000   Median : 276.0  
##  Zona Oriente:  60   02     : 507   Mean   :4.727   Mean   : 366.4  
##  Zona Sur    :2774   01     : 429   3rd Qu.:6.000   3rd Qu.: 430.0  
##                      (Other):1084   Max.   :6.000   Max.   :1950.0  
##                      NA's   :1372                                   
##    areaconst      parqueaderos        banios       habitaciones  
##  Min.   : 40.0   Min.   : 1.000   Min.   :1.000   Min.   :1.000  
##  1st Qu.: 68.0   1st Qu.: 1.000   1st Qu.:2.000   1st Qu.:3.000  
##  Median : 90.0   Median : 1.000   Median :2.000   Median :3.000  
##  Mean   :112.1   Mean   : 1.565   Mean   :2.621   Mean   :2.982  
##  3rd Qu.:130.0   3rd Qu.: 2.000   3rd Qu.:3.000   3rd Qu.:3.000  
##  Max.   :600.0   Max.   :10.000   Max.   :8.000   Max.   :7.000  
##                  NA's   :857                                     
##           tipo                 barrio        longitud         latitud     
##  Apartamento:5069   valle del lili: 839   Min.   :-76.59   Min.   :3.334  
##                     la flora      : 265   1st Qu.:-76.54   1st Qu.:3.380  
##                     santa teresita: 249   Median :-76.53   Median :3.419  
##                     ciudad jardín : 219   Mean   :-76.53   Mean   :3.419  
##                     pance         : 204   3rd Qu.:-76.52   3rd Qu.:3.453  
##                     normandía     : 149   Max.   :-76.46   Max.   :3.498  
##                     (Other)       :3144

Veamos la distribución de los Apartamentos según su estrato y su zona.

ggplot(aptos, aes(x = estrato, fill = zona)) +
  geom_bar() +
  scale_fill_brewer(palette = "Set2") +
  theme(legend.position = "bottom")

  labs(title = "Distribución de inmuebles por estrato",
       x = "Estrato",
       y = "Cantidad de inmuebles")

## $x
## [1] "Estrato"
## 
## $y
## [1] "Cantidad de inmuebles"
## 
## $title
## [1] "Distribución de inmuebles por estrato"
## 
## attr(,"class")
## [1] "labels"

Se ve que en el estrato 5 es donde más apartamentos hay, seguido por el 4 y el 6. También se ve que la zona Sur es la que más cuenta con apartamentos, seguido de la Norte y de la Oeste.

Veamos ahora como es la distribución de las zonas, según su relación entre el precio y el área construida. Se esperaría que entre más área, más precio, pero no sabemos en qué zonas se presentan dichos apartamentos.

area_zone_price <- ggplot(aptos, aes(x = preciom, y = areaconst)) +
  geom_point(aes(color = zona)) +
  scale_fill_brewer(palette = "Set2") +
  labs(title = "Área vs Precio por Zona",
       x = "Precio (millones)",
       y = "Área Construida (m2)") +
  theme(plot.margin = margin(1, 1, 1, 1, "cm")) #+
  #xlim(0, 2500) +  # Ajusta el límite inferior y superior del eje x
  #ylim(0, 1000)   # Ajusta el límite inferior y superior del eje y
ggplotly(area_zone_price)

En el eje X, la gran mayoría de los datos se encuentra por debajo de los mil millones de pesos. En el eje y, la mayoría de los datos esta por debajo de los 300 metros cuadrados construidos. En cuanto a las zonas, se ve que en la zona Oeste hay apartamentos de mayor tamaño y mayor precio, siendo más comunes los apartamentos de mas de mil millones en esta zona.

Veamos ahora, con el conjunto de datos que hemos depurado, el diagrama de cajas y bigotes que nos mostrará los valores atípicos para estos datos.

boxplot_zones <- ggplot(aptos, aes(x = estrato, y = preciom)) +
  geom_boxplot(aes(fill = zona)) +
  scale_fill_brewer(palette = "Set1") +
  labs(title = "Distribución de Precios por Estrato y Zona",
       x = "Estrato",
       y = "Precio (millones)") +
  xlim(2, 7) #+  # Ajusta el límite inferior y superior del eje x
  #ylim(0, 1000)   # Ajusta el límite inferior y superior del eje y

ggplotly(boxplot_zones)

Los estratos 5 y 6 están prácticamente conformados por apartamentos de la zona Oeste u Sur, habiendo gran cantidad de apartamentos de la zona oeste también en los estratos 3 y 4. También se ve en la gráfica que a medida que aumenta el estrato, también aumenta el precio mínimo y máximo de los apartamentos.

La gráfica anterior no nos muestra información referente al precio con respecto a la cantidad de baños o habitaciones de los apartamentos. Veámoslo en la siguiente gráfica:

price_rooms_bathrooms_distribution <- ggplot(aptos, aes(x = preciom, y = banios)) +
  geom_point(aes(color = factor(habitaciones))) +
  scale_fill_brewer(palette = "Set3") +
  labs(title = "Distribución de Precio por cantidad de Baños y Habitaciones",
       x = "Precio en millones",
       y = "Cantidad de Baños",
       color = "Habitaciones") 
ggplotly(price_rooms_bathrooms_distribution)

En la gráfica se ve un comportamiento que podría esperarse, y es que a medida en que va subiendo la cantidad de baños, va subiendo el precio, con una excepción clara en el apartamento de 8 baños y un valor de 730 millones de pesos. También se ve que no necesariamente el que tenga más baños es el más costoso, pero si se ve una clara relación.

Veamos ahora si la correlación numérica entre las variables graficadas anteriormente.

round_cor <- round(cor(aptos[, c("areaconst", "estrato", "banios", "habitaciones", "preciom")], use = "complete.obs"),2)
print(round_cor)

##              areaconst estrato banios habitaciones preciom
## areaconst         1.00    0.57   0.76         0.45    0.85
## estrato           0.57    1.00   0.62         0.19    0.67
## banios            0.76    0.62   1.00         0.51    0.75
## habitaciones      0.45    0.19   0.51         1.00    0.31
## preciom           0.85    0.67   0.75         0.31    1.00

La tabla nos muestra que las correlaciones más altas son del área construida con el precio (0.85), y de la cantidad de baños con el área construida (0.76), y también con el precio (0.75). Le sigue en magnitud, la correlación entre el estrato y el precio (0.67). La correlación más baja de una variable con el precio es la de la cantidad de habitaciones (0.31), y en general, la del número de habitaciones con las demás variables.

3. Modelo de Regresión Lineal Múltiple

Estime un modelo de regresión lineal múltiple con las variables del punto anterior (precio = f(área construida, estrato, número de cuartos, número de parqueaderos, número de baños ) ) e interprete los coeficientes si son estadísticamente significativos. Las interpretaciones deber están contextualizadas y discutir si los resultados son lógicos. Adicionalmente interprete el coeficiente R2 y discuta el ajuste del modelo e implicaciones (que podrían hacer para mejorarlo)

reg_lin_mult <- lm(preciom ~ habitaciones + parqueaderos + banios + areaconst + estrato , data = aptos)
summary(reg_lin_mult)

## 
## Call:
## lm(formula = preciom ~ habitaciones + parqueaderos + banios + 
##     areaconst + estrato, data = aptos)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -1020.31   -53.83     1.09    47.84   989.42 
## 
## Coefficients:
##                Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  -230.75852   15.59658  -14.79   <2e-16 ***
## habitaciones  -53.26845    3.83082  -13.90   <2e-16 ***
## parqueaderos   78.52672    4.16567   18.85   <2e-16 ***
## banios         47.91478    3.36796   14.23   <2e-16 ***
## areaconst       2.39131    0.05074   47.13   <2e-16 ***
## estrato        51.65929    2.94317   17.55   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 131.6 on 4206 degrees of freedom
##   (857 observations deleted due to missingness)
## Multiple R-squared:  0.803,  Adjusted R-squared:  0.8027 
## F-statistic:  3428 on 5 and 4206 DF,  p-value: < 2.2e-16

Nota Aclaratoria: Aunque el modelo de regresión lineal múltiple puede proporcionar una buena explicación de la variabilidad en los precios de las propiedades, es importante recordar que la correlación no implica causalidad, es decir, aunque las variables estén asociadas con el precio, no necesariamente lo causan. Otros factores no incluidos en el modelo podrían también influir en el precio. Se me ocurren por ejemplo otras características del inmueble como el estado de la fachada, de la pintura, del techo/goteras, ruido de la zona, acceso vehicular, congestión de la zona, etc.

Interpretación de los Coeficientes

El Intercepto (-224.477): Representa el precio promedio de una propiedad que no tiene ninguna de las características consideradas, es decir, ninguna habitación, baño, parqueadero, etc. En la vida real esto no tendría sentido pero es la referencia para la ecuación resultante del modelo.

Los Coeficientes de las variables independientes: que se muestran en la tabla son:

Habitaciones (-42.027): Cada habitación adicional disminuye el precio en promedio $42, lo que no suena muy lógico, pero puede deberse a otros factores que no se consideraron. Esto me deja pensativo. Parqueaderos (89.079): Cada parqueadero adicional aumenta el precio en promedio $89. A diferencia del coeficiente anterior, este si parece tener sentido. Es el coeficiente más alto de todos. Banios (40.994): Cada baño adicional aumenta el precio en promedio $41 pesos. Areaconst (2.374): Cada metro cuadrado adicional aumenta el precio en promedio $2.3 pesos. Esto también parece contraintuitivo, pero puede ser porque los baños y parqueaderos aumentan el área construida, y parecen contribuir más al precio que la misma área. Estrato (44.135): Cada nivel más alto de estrato socio económico aumenta el precio en promedio $44.

Significancia de los Coeficientes Los valores de p (Pr(>|t|)) asociados a cada coeficiente indican la probabilidad de que el coeficiente sea realmente cero en la población. En este caso, todos los valores de p son extremadamente pequeños (menores a 0.001), lo que significa que podemos rechazar la hipótesis nula de que el coeficiente es cero con un alto nivel de confianza. En otras palabras, todas las variables incluidas en el modelo son estadísticamente significativas en la predicción del precio, lo que a su vez implica que cada variable independiente (habitaciones, parqueaderos, baños, área construida y estrato) tiene un efecto significativo en el precio de las propiedades.

Bondad de Ajuste del Modelo R² (0.8183): Indica que el modelo explica aproximadamente el 81.83% de la variabilidad en el precio de las propiedades. Esto es un valor bastante alto, lo que sugiere que el modelo se ajusta razonablemente bien a los datos. Esto significa que las variables incluidas en el modelo explican una gran proporción de la variación en los precios. En otras palabras, el modelo se ajusta bastante bien a los datos.

F-estadístico: Este valor indica si el modelo en su conjunto es significativo. Un valor de F muy alto y un valor de p muy bajo (como en este caso) sugieren que el modelo es significativo.

¿Qué se puede hacer para mejorar el modelo?

El modelo resultante esta bastante bueno, sin embargo, se podrían ejecutar estrategias adicionales o diferentes para mejorar el resultado.

Incluir variables adicionales: Aunque en el conjunto de datos no hay más variables, un estudio más detallado podría conseguir otras variables de los inmuebles que pueden influir en el valor e incluirlas en el conjunto de datos. Algunas opciones podrían ser: Antigüedad del inmueble, el estado de la fachada, estado de la pintura, estado o antigüedad del techo, ruido de la zona, acceso vehicular, congestión de la zona, entre otras.

Transformar variables: En algunos casos, transformar las variables (por ejemplo, tomando logaritmos) puede mejorar el ajuste del modelo. Esto habría que probarlo y ver si tiene efectos positivos.

Interacciones entre variables: Podría haber interacciones entre las variables independientes que no están siendo capturadas por el modelo lineal. Por ejemplo, el efecto del número de habitaciones podría variar dependiendo del estrato socioeconómico. Sabemos que, como lo dije anteriormente, a más habitaciones, baños y parqueaderos, el área construida aumentará. Eso produce que el coeficiente de la variable de área, sea tan bajito.

Modelos no lineales: También es posible revisar si la relación entre las variables no es lineal, lo que en ese caso abriría la puerta para considerar modelos no lineales como la regresión polinomial o los modelos de árboles de decisión.

Finalmente, podrías realizar una Validación cruzada: para evaluar la generalización del modelo, y revisar si hay sobreajuste (para evitarlo), estimar de forma más precisa el error y seleccionar el modelo que mejores resultados arroje.

4. Validación de supuestos

**Realice la validación de supuestos del modelo e interprete los resultados (no es necesario corregir en caso de presentar problemas, solo realizar sugerencias de que se podría hacer)*.**

4.1. Linealidad

El supuesto de linealidad en una regresión lineal múltiple establece que la relación entre las variables independientes y la variable dependiente es lineal, es decir, que existe una relación lineal entre la variable que queremos predecir (en este caso el precio) y las variables “predictoras” o independientes. Al graficar los residuos contra los valores ajustados, estos deben estar distribuidos aleatoriamente alrededor de cero.

El supuesto de linealidad establece que la relación entre las variables independientes y la variable dependiente es lineal. Para validar este supuesto, se puede graficar los residuos contra los valores ajustados. En un análisis adecuado, los residuos no deberían mostrar patrones sistemáticos, sino que deben estar distribuidos aleatoriamente alrededor de cero. Si se observa algún patrón, como una tendencia curvilínea, esto sugiere que la relación entre la variable dependiente y las independientes no es completamente lineal. En tal caso, sería recomendable considerar transformaciones en las variables o modelos no lineales para ajustar el modelo.

plot(reg_lin_mult$fitted.values, resid(reg_lin_mult),
     main = "Residuos vs Valores Ajustados",
     xlab = "Valores Ajustados",
     ylab = "Residuos",
     pch = 1, col = "blue")
abline(h = 0, col = "black", lwd = 2)

El gráfico no muestra de manera contundente una violación directa al supuesto de linealidad, entonces se podría dar por cumplido ese supuesto. Sin embargo, la forma cónica podría mostrar un patrón que indicaría una posible relación no lineal entre las variables. Si esta sospecha es fuerte, se pueden hacer gráficos adicionales de los residuos contra las variables predictoras individuales para identificar patrones que no fueran lineales. También se pueden explorar transformaciones a las variables predictoras o cambiar a modelos no lineales, como los polinómicos o el de regresión spline, los cuales capturarían mejor la relación entre las variables en el caso de que no fuera lineal.

4.2. Homoscedasticidad

El supuesto de homoscedasticidad espera que la varianza de los residuos sea constante a lo largo de los valores que se predijeron. Para su validación graficaremos los residuos estandarizados contra los valores ajustados, tal como lo hicimos con la linealidad. Si los residuos presentan un patrón de embudo, aumentando o disminuyendo la varianza con los valores ajustados, se estaría ante un problema de heteroscedasticidad. Se aplicará la prueba Breusch-Pagan para hacer esta verificación.

#En tal caso, se pueden aplicar técnicas como la transformación logarítmica de la variable dependiente o utilizar estimadores robustos para manejar la heteroscedasticidad.

bptest(reg_lin_mult)

## 
##  studentized Breusch-Pagan test
## 
## data:  reg_lin_mult
## BP = 1071.7, df = 5, p-value < 2.2e-16

El estadístico de prueba BP fue: 1071.7 con 5 Grados de libertad (df) y un valor p < 0.00000000000000022

Como el valor p es extremadamente bajo indica que hay una evidencia muy fuerte en contra de la hipótesis nula, es decir, que la varianza de los errores es constante (homocedasticidad). En conclusión, dado que el valor p es significativamente menor que el nivel de significancia convencional (típicamente, 0.05), rechazamos la hipótesis nula. Esto significa que hay evidencia de heterocedasticidad en tus datos.

Lo anterior implica Invalidez de las pruebas de hipótesis. También indica que los estimadores son ineficientes, es decir, que pueden tener una varianza mayor de lo esperado. Otra implicación es que los intervalos de confianza y valores p son incorrectos. Los intervalos de confianza y los valores p calculados bajo el supuesto de homocedasticidad pueden ser demasiado estrechos o demasiado amplios, respectivamente.

Para corregirlo, nuevamente se debe establecer la causa del problema, identificando las variables que podrían estar generando la heterocedasticidad (Por ejemplo, cuando la varianza de los errores esta relacionada con el tamaño de alguna variable independiente). También se pueden transformar las variables y utilizar modelos de regresión como los modelos de mínimos cuadrados ponderados (WLS). Por último, ajustar los errores estándar utilizando técnicas como la corrección de White puede mejorar la inferencia estadística.

4.3. Independencia de Errores

Para realizar esta validación aplicaré la prueba Durbin-Watson

lmtest::dwtest(reg_lin_mult)

## 
##  Durbin-Watson test
## 
## data:  reg_lin_mult
## DW = 1.6569, p-value < 2.2e-16
## alternative hypothesis: true autocorrelation is greater than 0

El estadístico de prueba es DW = 1.6569 con un valor p muy pequeño. Este valor p indica que hay evidencia significativa para rechazar la hipótesis nula de que no hay autocorrelación en los residuos, es decir, que si hay autocorrelación de errores. El DW esta por debajo de 2, lo que indica una posible autocorrelación positiva. Lo anterior podría invalidar las inferencias basadas en el modelo de regresión, e indicar ineficiencia en los estimadores, lo que significa que pueden tener una varianza mayor de lo esperado. También puede indicar que las hipótesis son incorrectas.

Para solucionar lo anterior, la sugerencia es identificar la causa de la autocorrelación examinando las variables independientes y buscando posibles patrones que puedan estar causando la autocorrelación. Una vez se identifique la causa, para corregirla se pueden realizar transformaciones de las variables, o usar modelos de regresión autorregresivos o modelos de errores autorregresivos. Después de esto, se debe evaluar el modelo nuevamente para ver si se superó la autocorrelación.

4.4. Normalidad de los errores

El supuesto de normalidad establece que los residuos del modelo deben seguir una distribución normal. Para comprobarlo usaré el gráfico Q-Q (cuantiles-cuantiles) y realizaré la prueba estadística conocida como el test de Shapiro-Wilk. Si los puntos en el gráfico Q-Q siguen una línea recta, se puede decir que los residuos se distribuyen normalmente. Si existen desviaciones significativas de esta línea puede indicar que los residuos no siguen una distribución normal. Si esto llegase a ocurrir (residuos no normales), se deberían considerar transformaciones en la variable dependiente o emplear técnicas más robustas que no requieran asumir esta normalidad de los residuos.

qqPlot(reg_lin_mult, main = "Normal Q-Q Plot")

## [1] 1770 2827

shapiro.test(residuals(reg_lin_mult))

## 
##  Shapiro-Wilk normality test
## 
## data:  residuals(reg_lin_mult)
## W = 0.86145, p-value < 2.2e-16

Con la prueba Shapiro-Wilk dio como resultado 0.86145, lo que es menor que 1, e indica una desviación de la normalidad. Un valor mas cercano a uno sugeriría una distribución más normal. El valor p tan pequeño (por debajo de 0.05) rechaza la hipótesis nula de que los datos provienen de una distribución normal, es decir, que hay evidencia significativa de que los datos no se distribuyen normalmente.

Al igual que con la Normalidad de los Errores, lo anterior implica invalidez en las inferencias, unos estimadores ineficientes y unas posibles hipótesis incorrectas. Para corregir esto se deben realizar transformaciones a las variables (Logaritmos, raíces cuadradas, etc.) buscando mejorar la normalidad de los residuos. También se pueden revisar los valores atípicos que puedan estar afectando al modelo.

4.5. Multicolinealidad

El supuesto de multicolinealidad espera que no haya una correlación significativa entre las variables independientes. Para realizar la verificación, utilizaré el Factor de Inflación de la Varianza (VIF). Si los valores son mayores a 10 esto indicaria problemas de multicolinealidad, indicando que las variables independientes están altamente correlacionadas entre sí. En caso de que esto sea detectado, se recomienda considerar la eliminación de variables redundantes o aplicar técnicas de reducción de dimensiones como el PCA (Análisis de Componentes Principales).

vif(reg_lin_mult)

## habitaciones parqueaderos       banios    areaconst      estrato 
##     1.455713     2.251191     3.029712     2.916277     1.705821

Todos los resultados son pequeños, siendo el mas alto 3, lo que indica que no hay problemas de multicolinealidad.

5. Partición 70%-30% del modelo

Realice una partición en los datos de forma aleatoria donde 70% sea un set para entrenar el modelo y 30% para prueba. Estime el modelo con la muestra del 70%. Muestre los resultados.

set.seed(12) 
train_index <- createDataPartition(aptos$preciom, p = 0.7, list = FALSE)
train_data <- aptos[train_index, ]
test_data <- aptos[-train_index, ]
new_model <- lm(preciom ~ areaconst + estrato + habitaciones + parqueaderos + banios, data = train_data)

summary(new_model)

## 
## Call:
## lm(formula = preciom ~ areaconst + estrato + habitaciones + parqueaderos + 
##     banios, data = train_data)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -1035.24   -53.16     1.93    47.20   984.52 
## 
## Coefficients:
##                Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  -234.60572   18.71563  -12.54   <2e-16 ***
## areaconst       2.44225    0.06064   40.27   <2e-16 ***
## estrato        52.19268    3.49324   14.94   <2e-16 ***
## habitaciones  -51.66291    4.58479  -11.27   <2e-16 ***
## parqueaderos   75.24936    4.86369   15.47   <2e-16 ***
## banios         46.50431    3.97761   11.69   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 131 on 2935 degrees of freedom
##   (609 observations deleted due to missingness)
## Multiple R-squared:  0.8029, Adjusted R-squared:  0.8026 
## F-statistic:  2392 on 5 and 2935 DF,  p-value: < 2.2e-16

Los resultados son parecidos al modelo inicial.

El Intercepto (-234.61): Representa el valor esperado de preciom cuando todas las variables independientes son cero. Sin embargo, en este caso, no tiene una interpretación directa ya que no es realista que una propiedad tenga área cero, estrato cero, etc. areaconst (2.442): muestra que por cada unidad de aumento en el área construida, se espera que el precio de la propiedad aumente en 2.442 unidades, manteniendo constantes las demás variables. estrato (52.19): muestra que por cada unidad de aumento en el estrato socioeconómico, se espera que el precio de la propiedad aumente en 52.19 unidades, manteniendo constantes las demás variables. habitaciones (-51.66): Por cada habitación adicional, se espera que el precio de la propiedad disminuya en 51.66 unidades, manteniendo constantes las demás variables. Esto podría indicar que las habitaciones adicionales pueden tener un efecto negativo sobre el precio, posiblemente debido a factores como la distribución o el tamaño de las habitaciones. Esto es contrario a la lógica común en donde se espera que entre más habitaciones haya, mayor valor tenga un apartamento. parqueaderos (75.25): indica que por cada parqueadero adicional, se espera que el precio de la propiedad aumente en 75.25 unidades, manteniendo constantes las demás variables. banios (46.50): Por cada baño adicional, se espera que el precio de la propiedad aumente en 46.50 unidades, manteniendo constantes las demás variables.

Evaluación del Modelo

R-cuadrado (0.8029): El modelo explica aproximadamente el 80.29% de la variabilidad en el precio de las propiedades. Esto indica un buen ajuste del modelo a los datos. F-estadístico (2392): El F-estadístico es altamente significativo (p-valor < 0.00000000000000022), lo que sugiere que al menos una de las variables independientes es significativa en el modelo. Significancia individual de los coeficientes: Todos los coeficientes son altamente significativos (p-valor < 0.00000000000000022), lo que indica que todas las variables independientes contribuyen significativamente al modelo

6. Predicciones

Realice predicciones con el modelo anterior usando los datos de prueba (30%)

predictions <- predict(new_model, newdata = test_data)
resultados <- data.frame(Real = test_data$preciom, Prediccion = predictions)
head(resultados)

##   Real Prediccion
## 1  240   298.6074
## 2  220   189.6808
## 3  320   372.9514
## 4  385   366.4285
## 5  175   130.6219
## 6  820  1053.8952

7. Errores

Calcule el error cuadrático medio, el error absoluto medio y el R2, interprete.

7.1. Error Cuádrático Medio

# Calcular los errores de predicción
errores <- test_data$preciom - predictions

# Calcular el Error Cuadrático Medio (MSE)
mse <- mean(errores^2)

# Calcular el Error Absoluto Medio (MAE)
mae <- mean(abs(errores))

# Calcular el R-cuadrado (R²)
r2 <- caret::postResample(pred = predictions, obs = test_data$preciom)[2]

# Mostrar los resultados
cat("El Error Cuadrático Medio (MSE) es:", mse, "\n")

## El Error Cuadrático Medio (MSE) es: 17686.04

El Error Cuadrático Medio (MSE) mide el promedio de los cuadrados de los errores entre los valores predichos por el modelo y los valores reales. Cuanto más bajo sea el MSE, mejor se ajusta el modelo a los datos. En este caso dio un MSE de 17686.04, lo que significa que en promedio, el modelo se equivoca en aproximadamente 17686 unidades al predecir el valor de la variable dependiente. La magnitud de este valor dependerá de la escala de tu variable dependiente. Un MSE bajo indica un mejor ajuste del modelo.

7.2. Error Absoluto Medio

cat("El Error Absoluto Medio (MAE) es:", mae, "\n")

## El Error Absoluto Medio (MAE) es: 84.4133

El Error Absoluto Medio (MAE) mide el promedio de los valores absolutos de los errores. Es una medida más intuitiva del error promedio, ya que no penaliza los errores grandes tanto como el MSE. En este caso dio un MAE de 84.4133, lo que indica que, en promedio, el modelo se equivoca en 84.4133 unidades al hacer una predicción. Al igual que el MSE, un valor bajo indica un mejor ajuste. El MAE es más fácil de interpretar que el MSE porque está en las mismas unidades que la variable dependiente.

7.3. R²

cat("El R-cuadrado (R²) es:", r2, "\n")

## El R-cuadrado (R²) es: 0.8028947

El Coeficiente de determinación (R²) indica la proporción de la variabilidad de la variable dependiente que es explicada por el modelo. Un valor de R² cercano a 1 indica un mejor ajuste del modelo. PAra este caso, el R² fue igual a 0.8028947, esto significa que el modelo explica aproximadamente el 80.29% de la variabilidad en la variable dependiente. Es decir, el 80.29% de las variaciones en la variable dependiente pueden ser atribuidas a las variables independientes incluidas en el modelo. Un R² de 0.8029 es generalmente considerado como un buen ajuste, sin embargo, yo creo que debería buscarse una mejora.

Conclusión Final

Los indicadores muestran que el modelo es razonablemente bueno, pero considero que aun se podría mejorar más.