Ejemplo mínimo reproducible de Machine learning

Tamaño de la base de datos

Cuando nuestra base de datos es muy grande, es probablemente una mala idea el probar modelos con una base de datos gigante, lo mejor es crear un ejemplo mínimo reproducible e ir complejizandolo desde ahí. Al final de este ejercicio ustedes debieran tener un ejemplo que puedan correr en casi cualquier computador con solo 4 GB de RAM reciclado.

Pariré por cargar la base de datos:

library(tidyverse)
library(caret)

Beer <- read_rds("TrainBeer.rds")

Esta base de datos tiene 759,240 observaciones y pesa 44.5 Mb, el problema es que cuando nosotros entrenamos un modelo usando digamos k-fold-n-repeated cross validation. Dividiendo esa base de datos por la mitad para train y la mitad para test, el temaño de la base de datos de prueba quedaria con un tamaño de 2.2 Gb en el mejor de los casos, lo cual hace imposible trabajar con eso en un computador como con el que estoy realizanod este trabajo (Además de la eternidad que se demoraría en entrenar el modelo).

Una de las estrategias más sencillas para hacer un modelo inicial reproducible es partir con una base de datos mucho más pequeña y que tenga con los elementos más repetidos de la base de datos. Para esto partire por generar una base de datos resumen con los 5 usuarios que han dado su opinión sobre más cervezas.

BeerSum <- Beer %>% dplyr::group_by(review_profilename) %>% dplyr::summarise(N = n()) %>% arrange(desc(N)) %>% dplyr::top_n(5)

Los resultados los vemos en la tabla 1, en si usamos el siguiente código dejamos solo los resultados generados por estos usuarios.

Profiles <- BeerSum$review_profilename

BeerSubset <- Beer %>% filter(review_profilename %in% Profiles)

Lo cual reduce el tamaño de mi base de datos a 10,201 observaciones y 1.1 Mb y un peso de crossvalidation de 53.9 Mb

Tamaño de la base de datos asociado a variables categoricas

Tomemos de la base de datos BerrSubset solo las primeras 12 observaciones, en particular tomemos solo los nombres de usarios, y el tipo de cerveza.

BeerSubset_20 <- BeerSubset[1:20,] %>% dplyr::select(review_profilename, beer_style)

Vemos en la Tabla 2 el resultado de este subset, el cual tiene 11 tipos de cerveza. ¿Como usa caret esa base de datos?

Si usaramos la variable beer_style como una variable respuesta, hay dos opciones, en algunos algoritmos caret utilizará esa variable como una variable categórica, pero en otros algoritmos lo utilizará como generará 11 dummy variables. Para ver que significa esto, tomaremos BeerSubset_20 y transformaremos beer_style en una dummy variable, para mostrar cual sería el efecto de esto en el tamaño de la base de datos.

DummyCreator <- dummyVars(~ beer_style, data = BeerSubset_20)

BeerSubset_20Dummy <- predict(DummyCreator, BeerSubset_20)

En la tabla 3 vemos el resultado de transformar beer_style en una variable dummy, seguimos teniendo 20 filas, pero pasamos de tener 2 columnas a tener 11, y de un peso de entrenamiento de 107 Kb a un tamaño de entrenamiento de 209.8 Kb, esto es casi el doble y esto es solo considerando 11 tipos de cerveza, cuando la BeerSubset tiene 103 estilos de cerveza, lo que equivale a la misma cantidad de columnas, a esto sumemosle, y esto pasaría para cada variable categórica.

BeerSum2 <- Beer %>% dplyr::group_by(beer_name, beer_style) %>% dplyr::summarise(N = n()) %>% dplyr::arrange(desc(N)) %>% dplyr::filter(N >= 50)

Profiles <- BeerSum$review_profilename

BeerSubset <- Beer %>% filter(review_profilename %in% Profiles & beer_name %in% BeerSum2$beer_name &  beer_style %in% BeerSum2$beer_style)

set.seed(2018)
Index <- createDataPartition(BeerSubset$review_overall, p = 0.5, list = FALSE)

Train <- BeerSubset[Index,] %>% dplyr::select(review_overall, brewery_name, beer_style, beer_abv, review_profilename)

Train2 <- Train %>% mutate_if(is.character, as.factor)

Test <- BeerSubset[-Index,] %>% dplyr::select(review_overall, brewery_name, beer_style, beer_abv, review_profilename)
Test2 <- Test %>% mutate_if(is.character, as.factor)


Demora <- system.time(Model <- train(x = Train2[,c(2,3,4,5)], y = Train2$review_overall, method = "rpart"))