# Set a CRAN mirror
options(repos = c(CRAN = "https://cran.r-project.org"))

En este ejercicio se nos pide realizar una serie de análisis y modelos sobre un subconjunto particular de viviendas de una base de datos. Empecemos por cargar la data.

Una vez la data ha sido cargada, procedemos a realizar una limpieza, el reporte debe ser orientado hacia viviendas tipo apartamento con un área construida menor a 200 metros cuadrados, de estrato 4. No existe especificación respecto a la zona donde este se ubique.

Primero, procedemos a unificar la columna categórica de interés “tipo”, realizando un proceso en el cual primero unificamos las mayúsculas pasando toda la columna a letras minúsculas y luego procedemos a inspeccionar las entradas existentes con un histograma. Con el fin de identificar posibles variaciones en la forma de referirse a un apartamento.

Una vez es claro que la variable categórica ha sido propiamente unificada procedemos a crear un subconjunto que cumpla las caracerísticas especficiadas para iniciar el análisis

vivienda_1 = vivienda4 %>% filter(estrato == 4 & areaconst < 200 & tipo == 'apartamento')

Ahora procedemos sobre el análisis exploratorio y univariado. Primero revisameos posible data faltante.

# Check for missing values in the "zona" column
missing_rows <- is.na(vivienda_1$zona)

# Count the number of missing values
num_missing <- sum(missing_rows)

# Print the number of missing values
cat("Number of missing values in zona:", num_missing, "\n")
## Number of missing values in zona: 0
# Remove rows with missing values in the "zona" column
vivienda_1 <- vivienda_1[!missing_rows, ]

# Print the new number of rows in the dataset after removing missing values
cat("Number of rows after removing missing values:", nrow(vivienda_1), "\n")
## Number of rows after removing missing values: 1360
# Check for missing values in the "preciom" column
missing_rows_preciom <- is.na(vivienda_1$preciom)

# Count the number of missing values in "preciom"
num_missing_preciom <- sum(missing_rows_preciom)

# Print the number of missing values
cat("Number of missing values in preciom:", num_missing_preciom, "\n")
## Number of missing values in preciom: 0
# Remove rows with missing values in the "preciom" column
vivienda_1 <- vivienda_1[!missing_rows_preciom, ]

# Print the new number of rows in the dataset after removing missing values
cat("Number of rows after removing missing values in preciom:", nrow(vivienda_1), "\n")
## Number of rows after removing missing values in preciom: 1360
# Check for missing values in the "estrato" column
missing_rows_estrato <- is.na(vivienda_1$estrato)

# Count the number of missing values in "estrato"
num_missing_estrato <- sum(missing_rows_estrato)

# Print the number of missing values
cat("Number of missing values in estrato:", num_missing_estrato, "\n")
## Number of missing values in estrato: 0
# Remove rows with missing values in the "estrato" column
vivienda_1 <- vivienda_1[!missing_rows_estrato, ]

# Print the new number of rows in the dataset after removing missing values
cat("Number of rows after removing missing values in estrato:", nrow(vivienda_1), "\n")
## Number of rows after removing missing values in estrato: 1360

Ahora, que hemos confirmado la integridad de la data, procdemos sobre el análisis de la columna zona, es una columna categorica por lo cual basta el crear un histograma de conteo, con etiqueta de porcentaje para entender la distribución de la vivienda dentro de la ciudad.

library(ggplot2)


zona_counts <- table(vivienda_1$zona)


zona_percentages <- (zona_counts / sum(zona_counts)) * 100


barplot(zona_percentages, main = "Zona Distribution in vivienda_1", xlab = "Zona", ylab = "Percentage")


text(x = barplot(zona_percentages, plot = FALSE), y = zona_percentages, labels = paste0(round(zona_percentages, 1), "%"), pos = 3)

Como podemos apreciar, el 78,2% se encuentran en la zona sur y el 17.4% se encuentran en la zona norte, las zonas restanes contienes un procentage casi despreciable de inmuebles de este tipo , lo cual nos indica que el que se encuenrte en zona sur o norte, puede tener un gran influencia en el precio promedio la vivienda.

Ahora, procedemos sobre la columna precio, dado que es un valor “único” para cada vivienda, vamos a proceder a crear un perfil univariado del precio promedio y variación del mismo para una vivienda tipo apt de estrato 4 en la ciudad de área menor a 200 metros cuadrados.

mean_preciom <- mean(vivienda_1$preciom, na.rm = TRUE)


std_dev_preciom <- sd(vivienda_1$preciom, na.rm = TRUE)


cat("Mean of preciom:", mean_preciom, "\n")
## Mean of preciom: 201.9721
cat("Standard Deviation of preciom:", std_dev_preciom, "\n")
## Standard Deviation of preciom: 64.54919

Puede ser apreciado que el valor promedio de de un apt de estas características en la ciudad ronda los 200 millones y suele tener un desviación estándar de 64,54, lo que quiere decir que el precio puede llegar tocar los 264 o 134 millones, seguramente dependiendo del área construida y la zona en la que se encuentre.

Procedemos a realizar el mismo análisis sobre el área construida,

mean_preciom <- mean(vivienda_1$areaconst, na.rm = TRUE)


std_dev_preciom <- sd(vivienda_1$areaconst, na.rm = TRUE)


cat("Mean of areacons:", mean_preciom, "\n")
## Mean of areacons: 75.20368
cat("Standard Deviation of areacons:", std_dev_preciom, "\n")
## Standard Deviation of areacons: 21.817

Luego, el área promedio de un apt de estrato cuatro en la ciudad en de 75 metros cuadrados, con una desviación de 21,8 lo cual nos indica que los apt pueden tocar los 100 o 50 metros cuadrados construidos.

De este análisis concluimos que un apartamento típico de estas condiciones en la ciudad tendrá un valor de 200 millones y 75 metros cuadrdos. Además de estar problamemente ubicado en la zona sur de la ciudad.

Cabe notar que no se realiza una inspección univariada de la columna estrato o tipo pues claramente contienen un solo tipo de entrada. 4 y apartamento respectivamente.

Por otro lado, veamos un resumen general de la data para poder apreciar los rangos mínimos y máximos del precio y area const

print(summary(vivienda_1))
##            zona      estrato     preciom      areaconst         tipo          
##  Zona Centro :   7   3:   0   Min.   : 78   Min.   : 40.0   Length:1360       
##  Zona Norte  : 236   4:1360   1st Qu.:153   1st Qu.: 60.0   Class :character  
##  Zona Oeste  :  52   5:   0   Median :185   Median : 70.0   Mode  :character  
##  Zona Oriente:   2   6:   0   Mean   :202   Mean   : 75.2                     
##  Zona Sur    :1063            3rd Qu.:240   3rd Qu.: 83.0                     
##                               Max.   :645   Max.   :198.0

Ahora procedemos sobre el análisis bivariado de la data, dado que el objeto del estudio es poder predecir el valor de un apt de ciertas características, el análisis bivariado va a constar de un análisis de la zona respecto al precio y área const además de un análisis respecto al área cosntruida en relación al precio.

Primero veamos el precio promedio de las viviendas por zona,

# Calculate the median price by zone
medians_by_zone <- aggregate(preciom ~ zona, data = vivienda_1, FUN = median, na.rm = TRUE)

# Rename the resulting column
colnames(medians_by_zone) <- c("Zone", "Median_Price")

# Print the results
print(medians_by_zone)
##           Zone Median_Price
## 1  Zona Centro        170.0
## 2   Zona Norte        190.0
## 3   Zona Oeste        165.0
## 4 Zona Oriente        262.5
## 5     Zona Sur        185.0

ahora realicemos el mismo análisis sobre el área construida promedio por zona.

# Calculate the average areaconst by zone
averages_by_zone <- aggregate(areaconst ~ zona, data = vivienda_1, FUN = mean, na.rm = TRUE)

# Rename the resulting column
colnames(averages_by_zone) <- c("Zone", "Average_Areaconst")

# Print the results
print(averages_by_zone)
##           Zone Average_Areaconst
## 1  Zona Centro         107.71429
## 2   Zona Norte          78.15254
## 3   Zona Oeste          74.86538
## 4 Zona Oriente          87.00000
## 5     Zona Sur          74.32926

Luego, veamos una gráfica de dispersión de puntos, para poder apreciar la relación entre precio y area const. Cada conjunto de puntos tendrá un colo dsitintivo para poder apreciar su influencia en el rpecio también.

# Create a scatter plot with different colors for each "zona"
ggplot(data = vivienda_1, aes(x = areaconst, y = preciom, color = zona)) +
  geom_point() +
  labs(title = "Scatter Plot of Areaconst vs. Preciom by Zona", x = "Areaconst", y = "Preciom") +
  theme_minimal()

El gráfico ilustra de forma clara los perfiles que hemos estado cosntruyendo por zona. Hay una clara relación entra el área construida y el precio con la excepción de la zona oriente y centro. Donde parece que la ubicación juega un gran rol para acrecentar o disminuir el precio respectivamente.

Por último veamos la correlación en número de precio y área construida.

# Calculate the correlation
correlation_value <- cor(vivienda_1$areaconst, vivienda_1$preciom)

# Create a bar plot
barplot(correlation_value, 
        names.arg = c("Correlation"), 
        col = "blue", 
        ylim = c(-1, 1),
        main = "Correlation Plot: Preciom vs. Areaconst",
        ylab = "Correlation Value")

# Add the correlation value as text
text(1, correlation_value, labels = round(correlation_value, 2), pos = 3)

como podemos ver, es una correlación bastante alta. Sin embargo, el que no sea excesivamente elevada puede ser explicado por los análisis que ya hemos realizado, donde es claro que dependiendo de la zona, la correlación precio y área no es constante.

intentemos ver la correlación entre zona y precio.

library(ggplot2)

# Create a box plot with color-coded "zona" and "tipo" values
ggplot(data = vivienda_1, aes(x = zona, y = preciom, fill = tipo)) +
  geom_boxplot() +
  labs(title = "Box Plot of Preciom by Zona and Tipo", x = "Zona", y = "Preciom") +
  theme_minimal()

como mostraba nuestra gráfica de dispersión, en efecto si bien la zona sur y norte tienen los valores atípicos y tienen una relación clara con el precio, que en análisis previos se vió está fuertemente relacionado al área construida. la zona centro y oriente son las que rompen este patrón siendo las que mnos y más tienen correlación con el precio respectivamente y en análisis previos no se explica por el area cosntruida.

Esto fue previamente confirmado dado que el promedio por zona difiere de forma significativa. Ahora, si bien es cierto que el objeto del estudio es solamente obtener un modelo predictivo para precio explicado por área, es bueno para la compañía el poder comprender porque esta correlación tan clara no es más alta. Procedemos a realizar el modelo de regresión lineal simple para precio.

# Assuming you have loaded the "vivienda_1" dataset

# Fit a simple linear regression model
lm_model <- lm(preciom ~ areaconst, data = vivienda_1)

# Print a summary of the regression model
summary(lm_model)
## 
## Call:
## lm(formula = preciom ~ areaconst, data = vivienda_1)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -228.412  -23.589   -4.653   25.674  207.336 
## 
## Coefficients:
##             Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 36.62292    4.20667   8.706   <2e-16 ***
## areaconst    2.19868    0.05372  40.926   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 43.21 on 1358 degrees of freedom
## Multiple R-squared:  0.5522, Adjusted R-squared:  0.5519 
## F-statistic:  1675 on 1 and 1358 DF,  p-value: < 2.2e-16

El modelo posee un p value bastante pequeño lo que nos permite corroborar que en efecto el modelo es valido. El intercepto (beta_0) es 36,62292 y el peso de el área construida (beta_1) es 2.1986, lo cual nos indica que por cada metro cuadrado construido existe un aumento de 2.2 millones, con una base inicial de 36,62 millones.

Ahora, veamos el intervalo de confianza para el modelo.

# Assuming you have already fit the linear regression model (lm_model)
# Calculate the confidence interval for the coefficient of "areaconst"
conf_interval <- confint(lm_model, "areaconst")

# Print the confidence interval
print(conf_interval)
##              2.5 %   97.5 %
## areaconst 2.093294 2.304074

Podemos ver que el peso (beta_1) está confinado al intervalo (2.093 - 2.30), diferente a cero, por lo cual es significativo a la hora de predecir el precio de la vivienda . Frente a la prueba de hipótesis el p value del modelo y el f statistic visto anteriormente validan el modelo.

El r-squared es 0,552 esto permite saber que aproximadamente el 55% de la variabilidad de precio se explica por el área construida. ¿Cuál sería el precio promedio estimado para un apartamento de 110110 metros cuadrados?

# Assuming you have already fit the linear regression model (lm_model)
# Create a data frame with the explanatory variable values you want to predict
new_data <- data.frame(areaconst = 110110)

# Use the predict function to make a prediction
predicted_price <- predict(lm_model, newdata = new_data)

# Print the predicted price
print(predicted_price)
##        1 
## 242133.7

vemos que el precio estimado sería 242133.7 millones, en caso de que hubiera otro apartamento en la misma zona donde el precio sea 200200 millones, sería una oferta muy atractiva dado que estaría por debajo de la predicción, cabe resaltar que sería necesario primero evaluar si la propiedad se encuentra en zona crento o oriente, que son las dos zonas en donde la correlación del areaconst no es tan clara, dado el caso, el análisis debería ser distinto.

ahora realicemos una validación del modelo mediante gráficos. Empecemos por el comportamiento del modelo en si mismo.

par(mfrow = c(2,2))
plot(lm_model)

Como podemos ver, hay un claro problema con el levarage dado a los valores atípicos presentes en el modelo, también el test de Q-Q sugiere que no hay una muy buena normalidad, el test de scale y residuals se comportan bastante bien. En general, deben explorarse transformaciones para así discernir si el comportamiento mejora.

# Fit a simple linear regression model
lm_model <- lm(preciom ~ areaconst, data = vivienda_1)

# Load the necessary library for the Box-Cox transformation
library(MASS)

# Perform the Box-Cox transformation
boxcox_transform <- boxcox(lm_model)

# Find the lambda value that maximizes log-likelihood
lambda <- boxcox_transform$x[which.max(boxcox_transform$y)]

# Print the lambda value
cat("Optimal lambda for Box-Cox transformation:", lambda)
## Optimal lambda for Box-Cox transformation: -0.1010101
# Apply the Box-Cox transformation to the response variable
vivienda_1$preciom_transformed <- (vivienda_1$preciom^lambda - 1) / lambda

# Fit a new linear regression model with the transformed response variable
lm_model_transformed <- lm(preciom_transformed ~ areaconst, data = vivienda_1)

# Print a summary of the transformed regression model
summary(lm_model_transformed)
## 
## Call:
## lm(formula = preciom_transformed ~ areaconst, data = vivienda_1)
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.58693 -0.07603 -0.00484  0.09152  0.38845 
## 
## Coefficients:
##              Estimate Std. Error t value Pr(>|t|)    
## (Intercept) 3.6558117  0.0116741  313.16   <2e-16 ***
## areaconst   0.0056369  0.0001491   37.81   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.1199 on 1358 degrees of freedom
## Multiple R-squared:  0.5128, Adjusted R-squared:  0.5125 
## F-statistic:  1429 on 1 and 1358 DF,  p-value: < 2.2e-16
par(mfrow = c(2,2))
plot(lm_model_transformed)

Si bien el manejo de valores atípicos mejoró en general el rendimiento no es mejor el estimador de Bondad se redujo y el modelo posa muy poca importancia en el peso del área cosntruida. Además, tampoco se presentó una mejora significativa en test Q-Q. Procedemos a realizar diferentes transformaciones.

Vamos a plicar 4 transformaciones distintas y comparemos los resultados.

modelo_1 = lm(vivienda_1$preciom ~ vivienda_1$areaconst)
modelo_1
## 
## Call:
## lm(formula = vivienda_1$preciom ~ vivienda_1$areaconst)
## 
## Coefficients:
##          (Intercept)  vivienda_1$areaconst  
##               36.623                 2.199
modelo_2 = lm(log(vivienda_1$preciom) ~ vivienda_1$areaconst, data = vivienda_1)
modelo_2
## 
## Call:
## lm(formula = log(vivienda_1$preciom) ~ vivienda_1$areaconst, 
##     data = vivienda_1)
## 
## Coefficients:
##          (Intercept)  vivienda_1$areaconst  
##               4.5336                0.0097
modelo_3 = lm(log(vivienda_1$preciom) ~ log(vivienda_1$areaconst), data = vivienda_1)
modelo_3
## 
## Call:
## lm(formula = log(vivienda_1$preciom) ~ log(vivienda_1$areaconst), 
##     data = vivienda_1)
## 
## Coefficients:
##               (Intercept)  log(vivienda_1$areaconst)  
##                    1.4627                     0.8867
modelo_4 = lm(vivienda_1$preciom ~ log(vivienda_1$areaconst), data = vivienda_1)
modelo_4
## 
## Call:
## lm(formula = vivienda_1$preciom ~ log(vivienda_1$areaconst), 
##     data = vivienda_1)
## 
## Coefficients:
##               (Intercept)  log(vivienda_1$areaconst)  
##                    -633.5                      194.9
install.packages("stargazer")
## Installing package into 'C:/Users/57301/AppData/Local/R/win-library/4.3'
## (as 'lib' is unspecified)
## package 'stargazer' successfully unpacked and MD5 sums checked
## 
## The downloaded binary packages are in
##  C:\Users\57301\AppData\Local\Temp\Rtmpqao9bQ\downloaded_packages
library(stargazer)
## 
## Please cite as:
##  Hlavac, Marek (2022). stargazer: Well-Formatted Regression and Summary Statistics Tables.
##  R package version 5.2.3. https://CRAN.R-project.org/package=stargazer
stargazer(modelo_1, modelo_2, modelo_3, modelo_4, type = "text", df = FALSE)
## 
## =======================================================================
##                                     Dependent variable:                
##                     ---------------------------------------------------
##                       preciom            preciom)            preciom   
##                         (1)          (2)          (3)          (4)     
## -----------------------------------------------------------------------
## areaconst             2.199***     0.010***                            
##                       (0.054)      (0.0003)                            
##                                                                        
## areaconst)                                      0.887***    194.944*** 
##                                                 (0.021)      (4.518)   
##                                                                        
## Constant             36.623***     4.534***     1.463***   -633.526*** 
##                       (4.207)      (0.020)      (0.089)      (19.397)  
##                                                                        
## -----------------------------------------------------------------------
## Observations           1,360        1,360        1,360        1,360    
## R2                     0.552        0.518        0.577        0.578    
## Adjusted R2            0.552        0.518        0.576        0.578    
## Residual Std. Error    43.209       0.204        0.191        41.937   
## F Statistic         1,674.927*** 1,460.654*** 1,850.326*** 1,861.648***
## =======================================================================
## Note:                                       *p<0.1; **p<0.05; ***p<0.01

Tenemos la comparativa de modelos, podemos ver que en general todos tienen buena significancia estadística. Sin embargo cabe notar que el modelo 4 que corresponde a una transformación Lin-log posee el R bondad más alto pero los pesos de los beta sin increíblemente desproporcionados. Mientras que el modelo 3 que corresponde a una transformación Log-Log que nos brinda un R bondad prácticamente identico y unos pesos mucho más razonables veamos sus gráficos.

par(mfrow = c(2,2))
plot(modelo_3)

En efecto, de forma generalizada el modelo mejora, por lo cual se concluye que el modelo 3 es el mejor modelo.