Trabajo Final MD

El MNIST (“Instituto Nacional de Estándares y Tecnología Modificado”) es el conjunto de datos “hola mundo” de facto de la visión por computadora. Desde su lanzamiento en 1999, este clásico conjunto de datos de imágenes escritas a mano ha servido como base para los algoritmos de regresion. A medida que surgen nuevas técnicas de aprendizaje automático, MNIST sigue siendo un recurso confiable tanto para investigadores como para estudiantes. En este trabajo, el objetivo es identificar correctamente los dígitos de un conjunto de datos de decenas de miles de imágenes manuscritas. Sirve para experimentar desde la regresión a las redes neuronales.

Paso 1: Analizar el conjunto de datos de entrenamiento.

Para este trabajo final, se utilizó el conjunto de datos de entrenamiento y prueba preprocesados facilitados por el Profesor Jose Sosa. El conjunto de datos de entrenamiento, cd_digits_train_02.csv tiene 42000 filas y 785 columnas. La primera columna, llamada label, es el dígito dibujado por el usuario. El resto de las columnas contienen los valores de píxel de la imagen asociada.

Cada columna de píxeles en el conjunto de entrenamiento tiene un nombre como pixelx, donde x es un número entero entre 0 y 783, inclusive. Para ubicar este píxel en la imagen, supongamos que hemos descompuesto x como x = i * 28 + j, donde i y j son números enteros entre 0 y 27, inclusive. Luego, pixelx se ubica en la fila iy en la columna j de una matriz de 28 x 28, (indexando por cero).

train <- read.csv ("cd_digits_train_02.csv")

Crearemos una matriz 28*28 con los valores correspondientes al color de cada pixel

matriz_pix = matrix(unlist(train[1,-1]), nrow=28, byrow=TRUE)

Ahora, graficamos la matriz en la posicion 1 con la funcion image, la cual es perfecta para graficar matrices de pixeles.

image(m, col=grey.colors(255))

Se puede evidenciar que las los digitos estan rotados a la izquierda, por lo tanto para una mejor visualizacion, nos daremos a la tarea de rotar las matrices generadas. Definimos una funcion rotate.

rotate <- function(x) t(apply(x, 2, rev)) 

Ahora, graficamos las 6 primeras imagenes, haciendo uso de la funcion rotate que acabamos de definir. La funcion lapply aplica el primer argumento a la variable x definida dentro de function.

invisible(lapply(1:6, 
       function(x) image(
         rotate(matrix(unlist(train[x,-1]),nrow=28, byrow=TRUE)),
         col=grey.colors(255),
         xlab=train[x,1]
       )
))

Paso 2: Entrenar el Modelo con Random Forest

He elegido RandomForest par entrenar mi modelo, principalmente por su facilidad y porque permite visualizar facilmente los limites de decision. El Random Forest, también conocidos en castellano como ‘“Bosques Aleatorios”’ es una combinación de árboles predictores tal que cada árbol depende de los valores de un vector aleatorio probado independientemente y con la misma distribución para cada uno de estos.

Lo primero es eliminar la observacion label del dataset, y hago un sub-conjunto de la data a entrenar con 10.000 observaciones.

labels <- train[,1]
features <- train[,-1]
set.seed(123)
numTrain <- 10000
rows <- sample(1:nrow(train), numTrain)
labels <- as.factor(labels[rows])
train<- train[rows,-1]

Ahora, solo queda cargar la data de prueba y pasarla al algoritmo RandomForest. He usado 100 arboles.

test <- read.csv("cd_digits_test_02.csv")
rf <- randomForest(train, labels, xtest=test, ntree=100)

Ahora, creamos un dataframe con las predicciones. Los numeros se encuentran en rf$test$predicted. Mostramos los primeros registros, para asegurarnos que son de la forma correcta.

predictions <- data.frame(PredNum=levels(labels)[rf$test$predicted])
head(predictions)

Finalmente, creamos la salida en formato csv, para su entrega.

write.csv(predictions, "18184121_salida.csv", row.names=F, quote=F)

Referencias

Para la realizacion de este trabajo, algunas lecturas resultaron de mucha ayuda, especialmente ciertos Kernels de la competencia de Kaggle relacionada. https://www.kaggle.com/c/digit-recognizer

Estudio de Bosque Aleatorio:

• Un ejemplo mínimo que implementa el algoritmo de bosque aleatorio.
• https://www.kaggle.com/benhamner/random-forest-benchmark-1/code

Reconocedor de dígitos - PCA y SVM:

• Avanza durante el preprocesamiento, incluida la reducción de dimensionalidad con PCA.
• Utiliza la visualización para introducir intuitivamente el problema y los conceptos de ML.
• Construye un modelo de clasificación SVM.
• https://www.kaggle.com/cnjn22/digit-recognizer/code

Construye tu propia red neuronal en R:

• Implementa una red neuronal simple de 2 capas desde cero.
• Basado en el curso CS231n ofrecido por Stanford.
• https://www.kaggle.com/russwill/digit-recognizer/build-your-own-neural-network-in-r

Clasificador de distancia mínima:

• Utiliza la distancia mínima como un enfoque simple para la clasificación.
• https://www.kaggle.com/olhacher/digit-recognizer/minimum-distance-classifier