HACKATON AM - Arbolado Publico - Exploracion inicial del conjunto de datos

suppressMessages(library(rpart))
suppressMessages(library(caret))
suppressMessages(library(readr))
suppressMessages(library(dplyr))
suppressMessages(library(ggplot2))
suppressMessages(library(ggmap))

Lectura de Archivos de datos

• arbolado-mza-dataset.csv - conjunto de datos para entrenamiento
• arbolado-mza-dataset-test.csv - conjunto de datos para evaluacion
• arbolado-mza-dataset-descripcion.csv - Información extra sobre los datos.

Leer archivos Entrenamiento y Testeo:

Al usar la funcion read_csv del paquete readr tenemos la posibilidad de definir el tipo de dato que queremos para cada variable.

data_train <- readr::read_csv("./arbolado-mza-dataset.csv",
                              col_types = cols(
  id = col_integer(),
  especie = col_character(),
  ultima_modificacion = col_character(),
  altura = col_character(),
  circ_tronco_cm = col_double(),
  diametro_tronco = col_character(),
  long = col_double(),
  lat = col_double(),
  seccion = col_integer(),
  nombre_seccion = col_character(),
  area_seccion = col_double(),
  inclinacion_peligrosa = col_integer()
))
data_test <-  readr::read_csv("./arbolado-mza-dataset-test.csv",col_types = cols(
  id = col_integer(),
  especie = col_character(),
  ultima_modificacion = col_character(),
  altura = col_character(),
  circ_tronco_cm = col_double(),
  diametro_tronco = col_character(),
  long = col_double(),
  lat = col_double(),
  seccion = col_integer(),
  nombre_seccion = col_character(),
  area_seccion = col_double()
))

Transformaciones:

Algunos algoritmos no permiten nombres de factores como 1 y 0, se transforma la clase inclinacion_peligrosa a si y no

En la tabla de abajo podemos ver el conjunto de datos tal cual quedo despues de esta pequeña transformacion.

data_train<-data_train %>% mutate(inclinacion_peligrosa=ifelse(inclinacion_peligrosa=='1','si','no'))
data_train$inclinacion_peligrosa <-as.factor(data_train$inclinacion_peligrosa)
data_train

Explorando el conjunto de datos

Antes de plantear cualquier algoritmo para intentar predecir el grado de inclinacion es fundamental analizar los datos. Del analisis de los datos pueden surgir diferentes hipotesis que nos permitan proponer soluciones al problema de estudio. Para esto nos valemos fundamentalmente de la visualizacion y de las herramientas para hacer concultas ‘ala SQL’ que provee el paquete dplyr

Algunas PREGUNTAS a responder:

1. Cual es la distribucion de las clase inclinacion_peligrosa?

Para responder esta primer pregunta basta con contabilizar las ocurrencias de cada uno de los valores posibles de clase inclinacion_peligrosa. Usando dplyr, basta con agrupar por cada uno de los valores la clase via (via group_by()) y luego con summarise() contabilizar el total de cada grupo creado. La funcion especial n() permite contabilizar cada uno de los grupos formados.

data_train %>%  group_by(inclinacion_peligrosa) %>% summarise(total=n())

Observamos entonces, que para este conunto de datos, solo cerca del 12% de los registros tiene un inclinacion peligrosa.

2. Se puede considerar alguna sección mas peligrosa que otra?

Podriamos seguir preguntandonos, si existe alguna diferencia en esta distribucion respecto a las distintas secciones administrativas de la ciudad. Y para esto bastaria con modificar ligeramente la linea de arriba para incluir la variable seccion en la funcion group_by().

data_train_seccion_inclinacion<-data_train %>%  group_by(seccion,inclinacion_peligrosa) %>% summarise(total=n())
data_train_seccion_inclinacion

Ahora es posible ver que algunas secciones como ser la 1era seccion mantienen el la misma proporcion de arboles con inclinacion peligrosa. Por otro lado, secciones como la 4ta, tienen solamente cerca del 7%.

A veces, es mas facil visualizarlo en un grafico. Para ello podemos usar muchas herramientas, pero en R, una de las populares es el ggplot.

ggplot(data_train)+
  geom_bar(aes(x=as.factor(inclinacion_peligrosa),fill=as.factor(inclinacion_peligrosa)   ))+
  theme_bw()+
  facet_wrap(~seccion)

Que opinan? Existe alguna diferencia entre las secciones?

Se puede considerar alguna especie mas peligrosa que otra?

Repitamos el mismo razonamiento pero ahora con las especies..

Podriamos preguntarnos, si existe alguna diferencia en esta distribucion respecto a las distintas especies existentes la ciudad. Y para esto bastaria con modificar la linea de dpylr para y reemplazar la variable seccion por la variable especie en la funcion group_by().

data_train_especie_inclinacion<-data_train %>%  group_by(especie,inclinacion_peligrosa) %>% summarise(total=n())
data_train_especie_inclinacion

Aqui sin duda resulta muy dificil observar alguna diferencia. Veamos que pasa con una visualizacion como la anterior pero aplicada a especie

ggplot(data_train)+
  geom_bar(aes(x=as.factor(inclinacion_peligrosa),fill=as.factor(inclinacion_peligrosa)   ))+
  theme_bw()+
  facet_wrap(~especie)# Aca estamos indicando que queremos que diferencie por especie

Que conclusion podemos sacar del grafico? Existe alguna especie que sea mas propensa presentar una inclinacion peligrosa.?

Como estan distribuidas en la ciudad los arboles con inclinacion peligrosa?

Para responder esta pregunta, debemos valernos de las coordenadas geograficas que presenta el conjunto de datos. Aprovechando la informacion de geo posicionamiento podes ver si existe alguna zona o patron en la ciudad que nos permita inferir una posible causa detras del grado de inclinacion peligrosa en la ciudad.

Para visualizar ese tipo de datos en R podemos usar ggmap que se vale de la API de google map para realizar el geo-posicionamiento.

mza_map <- get_map(location = "mendoza", zoom = 14,maptype = "roadmap",color = "bw")
ggmap(mza_map)+ 
  geom_point(aes(x= long, y=lat), color='green',data=data_train %>% filter(inclinacion_peligrosa==1),size=0.4)

A simple vista no resulta facil distingir una zona con mayor densidad de arboles cuya inclinacion sea peligrosa. Quizas sea necesario cambiar la visualizacion y mostrar un diagram de de contornos en 2D. En donde las zonas con mayor densidad de puntos cuya inclinacion sea peligrosa presentan la mayor concentracion de color.

ggmap(mza_map)+ 
stat_density2d(mapping=aes(x = long, y = lat,fill=..level..,alpha=..level..), 
                 data = data_train %>% filter(inclinacion_peligrosa==1), geom="polygon",  bins=8) +
  scale_fill_gradient(low = "black", high = "green")

Que les parece? Ahora podemos decir que hay zonas con mayor inclinacion que otras?