Actividad 2 - Métodos estadísticos para la toma de decisiones
Fabián Castro
2024-09-04
Contexto
Maria comenzó como agente de bienes raíces en Cali hace 10 años. Después de laborar dos años para una empresa nacional, se traslado a Bogotá y trabajó para otra agencia de bienes raíces. Sus amigos y familiares la convencieron de que con su experiencia y conocimientos del negocio debía abrir su propia agencia. Terminó por adquirir la licencia de intermediario y al poco tiempo fundó su propia compañía, C&A (Casas y Apartamentos) en Cali. Santiago y Lina, dos vendedores de la empresa anterior aceptaron trabajar en la nueva compaña. En la actualidad ocho agentes de bienes raíces colaboran con ella en C&A.
Actualmente las ventas de bienes raíces en Cali se han visto disminuidas de manera significativa en lo corrido del año. Durante este periodo muchas instituciones bancarias de ahorro y vivienda están prestando grandes sumas de dinero para la industria y la construcción comercial y residencial. Cuando el efecto producto de las tensiones políticas y sociales disminuya, se espera que la actividad económica de este sector se reactive.
Hace dos días, María recibió una carta solicitando asesoría para la compra de dos viviendas por parte de una compañía internacional que desea ubicar a dos de sus empleados con sus familias en la ciudad.
Con la información de contexto mencionada se requiere hacer el desarrollo de unos puntos, sin embargo, inicialmente se procede con la limpieza y entendimiento de los datos.
- Se utilizan las funciones head, summary y names para verificar el tipo de datos y nombre de las columnas.
- Se hace una verificación de columnas datos vacíos y se identifica que hay 3 filas que no tienen información en la mayoría de las columnas.
- Se eliminan las tres filas con datos faltantes.
- Se encuentran 2635 registros con valor N/A para piso y 1602 valores N/A para parqueadero.
- Se convierte el piso de tipo character a número para hacer la respectiva imputación por los valores faltantes.
- Se imputan los valores para el piso y el parqueadero con la media.
## id zona piso estrato
## Min. : 1 Length:8322 Length:8322 Min. :3.000
## 1st Qu.:2080 Class :character Class :character 1st Qu.:4.000
## Median :4160 Mode :character Mode :character Median :5.000
## Mean :4160 Mean :4.634
## 3rd Qu.:6240 3rd Qu.:5.000
## Max. :8319 Max. :6.000
## NA's :3 NA's :3
## preciom areaconst parqueaderos banios
## Min. : 58.0 Min. : 30.0 Min. : 1.000 Min. : 0.000
## 1st Qu.: 220.0 1st Qu.: 80.0 1st Qu.: 1.000 1st Qu.: 2.000
## Median : 330.0 Median : 123.0 Median : 2.000 Median : 3.000
## Mean : 433.9 Mean : 174.9 Mean : 1.835 Mean : 3.111
## 3rd Qu.: 540.0 3rd Qu.: 229.0 3rd Qu.: 2.000 3rd Qu.: 4.000
## Max. :1999.0 Max. :1745.0 Max. :10.000 Max. :10.000
## NA's :2 NA's :3 NA's :1605 NA's :3
## habitaciones tipo barrio longitud
## Min. : 0.000 Length:8322 Length:8322 Min. :-76.59
## 1st Qu.: 3.000 Class :character Class :character 1st Qu.:-76.54
## Median : 3.000 Mode :character Mode :character Median :-76.53
## Mean : 3.605 Mean :-76.53
## 3rd Qu.: 4.000 3rd Qu.:-76.52
## Max. :10.000 Max. :-76.46
## NA's :3 NA's :3
## latitud
## Min. :3.333
## 1st Qu.:3.381
## Median :3.416
## Mean :3.418
## 3rd Qu.:3.452
## Max. :3.498
## NA's :3## [1] "id" "zona" "piso" "estrato" "preciom"
## [6] "areaconst" "parqueaderos" "banios" "habitaciones" "tipo"
## [11] "barrio" "longitud" "latitud"## id zona piso estrato preciom areaconst
## 3 3 2638 3 2 3
## parqueaderos banios habitaciones tipo barrio longitud
## 1605 3 3 3 3 3
## latitud
## 3- Se encuentran 4 variables categóricas que son la zona, el estrato, tipo y barrio.
- La variable estrato es categórica ordinal por lo que tendrá un tratamiento diferente a las otras variables para ser incluida en el análisis.
- Por último se verifica que no hayan datos faltantes en la base después del tratamiento realizado previamente.
## id zona piso estrato preciom areaconst
## 0 0 0 0 0 0
## parqueaderos banios habitaciones tipo barrio longitud
## 0 0 0 0 0 0
## latitud
## 0Con la preparación y organización de los datos en el punto anterior, procedemos a dar respuesta a cada uno de los puntos solicitados.
- Realice un filtro a la base de datos e incluya sólo las ofertas de apartamentos. Presente los primeros 3 registros de las bases y algunas tablas que comprueben la consulta.
## [1] "Primeros 3 registros del dataframe: "## # A tibble: 3 × 13
## id zona piso estrato preciom areaconst parqueaderos banios habitaciones
## <dbl> <chr> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
## 1 1212 Zona N… 1 5 260 90 1 2 3
## 2 1724 Zona N… 1 5 240 87 1 3 3
## 3 2326 Zona N… 1 4 220 52 2 2 3
## # ℹ 4 more variables: tipo <chr>, barrio <chr>, longitud <dbl>, latitud <dbl>## id zona piso estrato
## Min. : 3 Length:5100 Min. : 1.000 Min. :3.000
## 1st Qu.:2180 Class :character 1st Qu.: 3.000 1st Qu.:4.000
## Median :4158 Mode :character Median : 4.000 Median :5.000
## Mean :4284 Mean : 4.462 Mean :4.727
## 3rd Qu.:6556 3rd Qu.: 5.000 3rd Qu.:6.000
## Max. :8317 Max. :12.000 Max. :6.000
## preciom areaconst parqueaderos banios
## Min. : 58.0 Min. : 35.0 Min. : 1.000 Min. :0.000
## 1st Qu.: 175.0 1st Qu.: 68.0 1st Qu.: 1.000 1st Qu.:2.000
## Median : 279.0 Median : 90.0 Median : 2.000 Median :2.000
## Mean : 366.9 Mean :112.8 Mean : 1.641 Mean :2.617
## 3rd Qu.: 430.0 3rd Qu.:130.0 3rd Qu.: 2.000 3rd Qu.:3.000
## Max. :1950.0 Max. :932.0 Max. :10.000 Max. :8.000
## habitaciones tipo barrio longitud
## Min. :0.000 Length:5100 Length:5100 Min. :-76.59
## 1st Qu.:3.000 Class :character Class :character 1st Qu.:-76.54
## Median :3.000 Mode :character Mode :character Median :-76.53
## Mean :2.971 Mean :-76.53
## 3rd Qu.:3.000 3rd Qu.:-76.52
## Max. :9.000 Max. :-76.46
## latitud
## Min. :3.334
## 1st Qu.:3.380
## Median :3.419
## Mean :3.419
## 3rd Qu.:3.453
## Max. :3.498- Realice un análisis exploratorio de datos enfocado en la correlación entre la variable respuesta (precio de la casa) en función del área construida, estrato, numero de baños, numero de habitaciones y zona donde se ubica la vivienda. Use gráficos interactivos con el paquete plotly e interprete los resultados.
- Se cambia la variable zona por One-hot encoding para convertirla en numérica y poder incluirla en el análisis de correlación de Pearson.
- Creamos el gráfico de pares para ver el comportamiento de todas las variables.
- Generamos la gráfica de Boxplot para explicar el comportamiento de la variable precio respecto a la variable categórica estrato.
- Por último generamos un gráfico de dispersión que muestra la relación entre el precio y el área construida.
## Precio Área Baños Habitaciones Zona centro
## Precio 1.00000000 0.82874371 0.74047323 0.297493968 -0.042884535
## Área 0.82874371 1.00000000 0.72673766 0.409270802 -0.017557791
## Baños 0.74047323 0.72673766 1.00000000 0.500660483 -0.031664250
## Habitaciones 0.29749397 0.40927080 0.50066048 1.000000000 0.002912402
## Zona centro -0.04288453 -0.01755779 -0.03166425 0.002912402 1.000000000
## Zona norte -0.15669514 -0.11324257 -0.15939039 -0.063438334 -0.038100405
## Zona oeste 0.52325711 0.43135469 0.36307392 0.073341606 -0.034570205
## Zona oriente -0.08222405 -0.02965787 -0.09252835 0.017935024 -0.007628016
## Zona sur -0.26437983 -0.24235038 -0.13223135 -0.009449142 -0.075478886
## Zona norte Zona oeste Zona oriente Zona sur
## Precio -0.15669514 0.52325711 -0.082224050 -0.264379826
## Área -0.11324257 0.43135469 -0.029657870 -0.242350378
## Baños -0.15939039 0.36307392 -0.092528353 -0.132231351
## Habitaciones -0.06343833 0.07334161 0.017935024 -0.009449142
## Zona centro -0.03810040 -0.03457020 -0.007628016 -0.075478886
## Zona norte 1.00000000 -0.27857485 -0.061468348 -0.608226649
## Zona oeste -0.27857485 1.00000000 -0.055772986 -0.551871294
## Zona oriente -0.06146835 -0.05577299 1.000000000 -0.121771998
## Zona sur -0.60822665 -0.55187129 -0.121771998 1.000000000- Se evidencia una alta correlación entre el precio y el área del apartamento, es la más alta de todas con un coeficiente de 0.83.
- La seguda correlación más alta en el análisis respecto al precio está en los baños con un 0.74.
- Al cambiar la variable categórica zona por un One-hot encoding logramos ver que exite una correlació alta entre el precio y la zona oeste de la ciudad con un coeficiente de 0.56. Sin embargo, las otras zonas mostraron un coeficiente negativo lo que puede indicar y cercano a cero lo que indica que hay muy poca relación entre el precio y el resto de las zonas de la ciudad.
- Si bien para las otras zonas de la ciudad diferente a la zona oeste parace haber una correlación muy baja respecto al precio, en realidad esto cambia cuando lo revisamos por los estratos, análisis que se muestra más adelante.
- La variable habitaciones respecto al precio no muestra una correlación muy alta al obtener un coeficiente de 0,3 respecto a los valores mostrados por área y baños.
- Para el estrato 3 se muestra una baja variabilidad de los datos, los precios no están sesgados hacia valores muy altos o valores muy bajos.
- Conforme aumenta el estrato se empieza a ver mayor variabilidad en los datos y cada vez más aumentando la distancia de los límites y los outliers.
- Para el estrato 6 se evidencia una mayor variabilidad de los datos y una distancia mayor con el bigote superior y outliers, lo que indica que si bien la mayoría de los datos están agrupados cerca a la mediana, en el estrato 6 hay precios significativamente más altos que el resto.
- El gráfico de dispersión comprueba la relación fuerte que existe entre el precio y el área de la vivienda.
- Entre mayor crecimiento hay del área de la vivienda existe un crecimiento en el precio.
- Existen valores atípicos que habría que revisar con mayor detalle.
- La gráfica de pares resume las explicaciones dadas puntos atrás.
- Se evidencia la correlación fuerte con el área, número de baños y la zona donde se está ofreciendo la vivienda.
- Se ve como cada vez que sube el estrato también hay una mayor variabilidad en los precios.
- Por último no se ve una correlación importante entre el número de habitaciones y el precio de la vivienda comparando con los coeficientes de las otras variables.
- Estime un modelo de regresión lineal múltiple con las variables del punto anterior (precio = f(área construida, estrato, número de cuartos, número de parqueaderos, número de baños ) ) e interprete los coeficientes si son estadísticamente significativos. Las interpretaciones deber están contextualizadas y discutir si los resultados son lógicos. Adicionalmente interprete el coeficiente R2 y discuta el ajuste del modelo e implicaciones (que podrían hacer para mejorarlo).
# Ajuste del modelo de regresión lineal múltiple
modelo <- lm(preciom ~ areaconst + estrato + habitaciones + parqueaderos + banios, data = base_filtrada)
summary(modelo)##
## Call:
## lm(formula = preciom ~ areaconst + estrato + habitaciones + parqueaderos +
## banios, data = base_filtrada)
##
## Residuals:
## Min 1Q Median 3Q Max
## -1692.17 -56.80 1.17 47.63 967.21
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -92.76136 10.48268 -8.849 < 2e-16 ***
## areaconst 2.02704 0.04183 48.461 < 2e-16 ***
## estrato4 38.66668 6.44189 6.002 2.08e-09 ***
## estrato5 75.06135 6.53197 11.491 < 2e-16 ***
## estrato6 218.08938 7.98301 27.319 < 2e-16 ***
## habitaciones -31.33865 3.21120 -9.759 < 2e-16 ***
## parqueaderos 59.76785 3.29765 18.124 < 2e-16 ***
## banios 51.30410 2.91877 17.577 < 2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 129.4 on 5092 degrees of freedom
## Multiple R-squared: 0.8002, Adjusted R-squared: 0.7999
## F-statistic: 2913 on 7 and 5092 DF, p-value: < 2.2e-16- El intercepto es -92.76 lo que significa que si las variables idependientes fueran cero el valor de la propiedad tendría un valor de -92.76 situación que no es posible, sin embargo, lo que sugiere es que si ninguna de esas variables tiene un valor la propiedad tampoco tendría valor ya que no habría vivienda construida.
- Se estima que por cada metro cuadrado adicional el precio de la propiedad pueda aumentar aproximandamente 2 millones de pesos, el error estándar en el área construida es bajo lo que nos indica que la estimación del coeficiente es precisa.
- Se estima un aumento en el valor de la propiedad según cambia el estrato de la vivienda, llegando a existir una diferencia de casi 218 millones entre una vivienda del estrato 3 y una de estrato 6.
- Los baños adicionales y los parqueaderos generan un aumento significativo en el precio de la vivienda ya que cada parqueadero adicional aumenta el precio en 59 millones y los baños en 51 millones.
- El caso que se debe revisar con mayor detalle es el de las habitaciones ya que cada habitación está asociada a una disminución en el valor de 31 millones de pesos.
- La explicación de las habitaciones puede estar dada con los movimientos sociodemográficos que se están dado que según recientes estudios las personas jóvenes ya no desean tener hijos o de tenerlos desean familias pequeñas por lo que se podrías estar penalizando el número de habitaciones.
- Por otro lado el valor de aumento de los parqueaderos también puede estar influenciado por las políticas de reducción del consumo de combustible, uso eficiente del automovil y cuidado del medio ambiente donde se priorizan estas políticas y se castigan con mayores impuestos.
- Las dos hipótesis anteriores se deben demostrar con mayor información y un análisis más detallado.
- El coeficiente R2 indica que aproximandamente el 80% de la variabilidad en el precio puede explicarse por el modelo.
- El modelo sugiere estar influenciado por todas las variables incluidas, sin embargo, requiere un mayor análisis el número de habitaciones por el resultado negativo.
- Realice la validación de supuestos del modelo e interprete los resultados (no es necesario corregir en caso de presentar problemas, solo realizar sugerencias de que se podría hacer).
##
## studentized Breusch-Pagan test
##
## data: modelo
## BP = 1479.9, df = 7, p-value < 2.2e-16
##
## Durbin-Watson test
##
## data: modelo
## DW = 1.7247, p-value < 2.2e-16
## alternative hypothesis: true autocorrelation is greater than 0- El supuesto de linealidad muestra que los reiduos están distribuidos aleatoriamente alrededor de cero, lo que indica que hay una relación entre la variable predictora y las variables independientes.
- De acuerdo con los resultados el valor p muy bajo sugiere que hay heterocedasticidad en el modelo.
- El supuesto de normalidad muestra en el histograma de residuos una aproximación a una distribución normal lo que indica que tiene validez en las inferencias estadísticas del modelo.
- En el gráfico Q-Q de residuos se ve que hay una distribución normal de los residuos.
- El resultado del supuesto de no autocorrelación con el test Durbin-Watson sugiere que hay cierta correlación en los residuos del modelo.
- Realice una partición en los datos de forma aleatoria donde 70% sea un set para entrenar el modelo y 30% para prueba. Estime el modelo con la muestra del 70%. Muestre los resultados.
## Número de filas en el conjunto de entrenamiento: 3572## Número de filas en el conjunto de prueba: 1528##
## Call:
## lm(formula = preciom ~ areaconst + estrato + habitaciones + parqueaderos +
## banios, data = datos_train)
##
## Residuals:
## Min 1Q Median 3Q Max
## -1647.72 -56.03 0.85 46.85 964.99
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) -88.71811 12.48574 -7.106 1.44e-12 ***
## areaconst 1.97842 0.04987 39.670 < 2e-16 ***
## estrato4 41.40401 7.70242 5.375 8.13e-08 ***
## estrato5 77.79708 7.81961 9.949 < 2e-16 ***
## estrato6 231.30333 9.54113 24.243 < 2e-16 ***
## habitaciones -28.00211 3.79762 -7.374 2.05e-13 ***
## parqueaderos 57.82914 4.00687 14.432 < 2e-16 ***
## banios 46.64542 3.49205 13.358 < 2e-16 ***
## ---
## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
##
## Residual standard error: 129.8 on 3564 degrees of freedom
## Multiple R-squared: 0.7921, Adjusted R-squared: 0.7917
## F-statistic: 1940 on 7 and 3564 DF, p-value: < 2.2e-16- Se realiza la partición de los datos en 70% para entrenamiento y 30% para prueba, siendo esto 3572 y 1528 respectivamente.
- Se obtienen valores similares al modelo original.
- El intercepto tiene un valor negativo menor al original, sin embargo, para efectos del análisis indica que si las variables independientes están en cero el precio de la vivienda sería negativo o cero para este caso.
- disminuyen un poco los precios por metro cuadrado al pasar de 2 millones a 1,9 millones.
- Se mantiene la diferencia entre los precios de la vivienda según el estrato, sin embargo, en general hay una pequeña disminución.
- Se mantienen el valor negativo en las habitaciones lo que indica que se debe validar con mayor detalle ya que de partida puede haber una explicación por los cambios sociales y tamaño del grupo familiar, sin embargo, no tiene mucho sentido en la práctica que una vivieda cueste menos al tener un número mayor de habitaciones.
- El R2 tiene un valor de 79% lo que indica que explica aproximadamente en esa proporción la variabilidad del precio de los inmuebles, en el modelo original este valor es del 80%, lo que indica una diferencia de 1 punto porcentual que puede deberse a la variación natural por el tamaño del conjunto de datos.
- Realice predicciones con el modelo anterior usando los datos de prueba (30%).
## Real Prediccion
## 1 240 287.4536
## 2 220 175.6533
## 3 385 320.7592
## 4 100 114.3165
## 5 170 135.5118
## 6 130 100.1321- Las predicciones muestran tanto errores positivos como negativos de la predicción frente a los datos reales.
- Esto significa que es probable que el modelo requiera ajustes ya que las diferencias deberían ser menores.
- Calcule el error cuadrático medio, el error absoluto medio y el R2, interprete.
## Error cuadrático medio: 127.3683## MAE: 80.4341## R^2: 0.8200434- El error cuadrático medio sugiere una desviación de 127 millones en las predicciones respecto a los valores reales del modelo, este valor puede ser alto para los precios de la vivienda lo que puede significar que el modelo no está muy bien ajustado y se puede deber entre otras cosas a tener variables que no son relevantes, valores atípicos o problemas de ajuste. *El error absoluto medio es de 80 millones, mucho más bajo que el error cuadrático medio y puede estar más cercano con la realidad de los precios relacionados.
- El modelo explica el 82% de la variabilidad de los precios.
- Las métricas sugieren que el modelo es preciso, sin embargo, el resultado del error cuadrático medio da a entender que se deben revisar algunas variables que pueden estar generar un sobreajuste en el modelo, entendiento que 127 millones es un valor muy alto respecto al precio de los inmuebles