Machine learning avec R

Cette démo reproduit quelques exemples tirés du livre de Lantz (2013), Machine Learning with R.

1. Classification “lazy” avec knn dans le package class.

On utilise un dataset sur des biopsies en vue de détecter des cancers du sein. D’abord, un peu de préparation.

library(class)
library(gmodels)
normalize <- function(x) {
 return ((x - min(x)) / (max(x) - min(x)))
}
wbcd <- read.csv("https://github.com/shifteight/R/blob/master/MLwR/wisc_bc_data.csv")
rownames(wbcd) <- wbcd$id
wbcd$id <- NULL
wbcd_n <- as.data.frame(lapply(wbcd[2:31], normalize))

Error in `[.data.frame`(wbcd, 2:31) : undefined columns selected

Ici la magie va opérer. On classifie les données. knn fonctionne comme suit:

knn(train, test, class, k)

Où k est un entier donnant le nombre de “voisins” à considérer (nearest neighbourgs), ce qui correspond grosso-modo à la précision dans le découpage.

wbcd_test_pred <- knn(train = wbcd_train, test = wbcd_test, cl = wbcd_train_labels, k=12)
CrossTable(x = wbcd_test_labels, y = wbcd_test_pred, prop.chisq=FALSE)

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                 | wbcd_test_pred 
wbcd_test_labels |         B |         M | Row Total | 
-----------------|-----------|-----------|-----------|
               B |        75 |         2 |        77 | 
                 |     0.974 |     0.026 |     0.770 | 
                 |     0.987 |     0.083 |           | 
                 |     0.750 |     0.020 |           | 
-----------------|-----------|-----------|-----------|
               M |         1 |        22 |        23 | 
                 |     0.043 |     0.957 |     0.230 | 
                 |     0.013 |     0.917 |           | 
                 |     0.010 |     0.220 |           | 
-----------------|-----------|-----------|-----------|
    Column Total |        76 |        24 |       100 | 
                 |     0.760 |     0.240 |           | 
-----------------|-----------|-----------|-----------|

 

B étant pour bénin et M pour malin, on peut donc déduire les vrais négatifs (B,B), faux positifs (B,M), faux négatifs (M,B) et vrais positifs (M,M).

Amélioration d’une classification “paresseuse”

On peut améliorer cette classification. On va tester deux méthodes: conversion en scores Z et bidouillage avec la valeur de k.

CrossTable(x = wbcd_test_labels, y = wbcd_test_pred, prop.chisq=FALSE)

Error in CrossTable(x = wbcd_test_labels, y = wbcd_test_pred, prop.chisq = FALSE) : 
  could not find function "CrossTable"

Puisque cette méthode ne produit pas de modèle, on ne peut pas voir la contribution relative de chaque variable afin de sélectionner les variables les plus prometteuses, ni pondérer la contribution des variables. C’est une boite noire. Nous avons peu d’options pour améliorer les prédictions outre le k et des transformations sur les variables.