Camera Identification

Cargamos un archivo .csv con informacion sobre una camera en particular. El archivo contiene los valores de cross correlation para la camara evaluada (tested) junto a los resultados de otras camaras (others). Se crea un data.frame con 3 variables. El valor de threshold, la clase (tested,others) y un id

camera=read_delim("~/Dropbox/ongoing-work/git-repos/rp2017/data/camera/Canon_Ixus70_0.cvs",delim='\t')

Parsed with column specification:
cols(
  `Misma ` = col_double(),
  ` Otra` = col_double(),
  ` Prom A` = col_double(),
  ` Prom B` = col_double(),
  ` stdDev A` = col_double(),
  ` stdDev B` = col_double(),
  ` A/B ` = col_double()
)

names(camera)<-c("tested","others")
camera<-as.data.frame(rbind(cbind(na.omit(camera$tested),rep(names(camera)[1])),cbind(na.omit(camera$others),rep(names(camera)[2]))))
names(camera)<-c("threshold","class")
camera$threshold<-as.numeric(as.character(camera$threshold))
camera$class<-as.character(camera$class)
camera$id<-1:nrow(camera)
camera

Un grafico (scatter plot) nos permite ver la distribucion de cada uno de los valores de Cross Correlation para el conjunto de datos seleccionado. En el eje Y tenemos el valor de Cross Correlation y en el eje X tenemos el identificador de la foto. Es decir cada punto en X es una foto distinta. En rojo, se marcan las fotos que pertenecen a otras camaras (others), mientras que en azul a la camera evaluada (tested)

Utilizando un grafico de cajas, podemos observar la distribucion de cada clase (tested,others) respecto sus valores de thresholds. Este grafico nos permite visualmente definir un crierio para definir el valor del threshold.

Definimos un valor umbral, en este caso 0.01. A partid de ese valor todos los casos que superen dicho valor seran considerandos que pertenecen a la clase tested. Seleccionamos solamente la variable class y la recientemente creada variable predicted

camera_predictions<-camera %>% mutate(predicted=ifelse(threshold>0.01,"tested","others")) %>% select(class,predicted) 
camera_predictions

Se puede entonces crear una matriz de confusion. En donde tendremos cuatro posibles casos:

1. True Postives = aquellas fotos que pertenecen a la clase ‘tested’ que fueron correctamente predecidas como ‘tested’

2. True Negatives = aquellas fotos que pertenecen a la clase ‘others’ que fueron correctamente predecidas como ‘others’

3. False Postives = aquellas fotos que pertenecen a la clase ‘others’ que fueron correctamente predecidas como ‘tested’

4. False Negatives = aquellas fotos que pertenecen a la clase ‘tested’ que fueron correctamente predecidas como ‘others’

table(confusion_matrix)

confusion_matrix
FN FP TN TP 
 4  3 87 12 

A partir de la confusion matrix podemos calcular varias metricas. Por ejemplo el recall El recall nos dice que porcentaje de aquellas fotograficas reconocidas por el algoritmo como que pertenecen a la clase tested, son de hecho de la clase tested. Para esto se aplica la siguiente formula. TP/(TP+FN). Es decir los True Postive sobre el total del fotos reconocidas como testes(i.e. el True postive + False negative) Mas info en (https://en.wikipedia.org/wiki/Confusion_matrix)

Por otor lado Si utilizamos la funcion confusionMatrix() nos ahorramos mucho trabajo y tenemos todas las metricas

confusionMatrix(camera_predictions$class, camera_predictions$predicted,positive = 'tested')

Confusion Matrix and Statistics

          Reference
Prediction others tested
    others     87      3
    tested      4     12
                                         
               Accuracy : 0.934          
                 95% CI : (0.8687, 0.973)
    No Information Rate : 0.8585         
    P-Value [Acc > NIR] : 0.01247        
                                         
                  Kappa : 0.7356         
 Mcnemar's Test P-Value : 1.00000        
                                         
            Sensitivity : 0.8000         
            Specificity : 0.9560         
         Pos Pred Value : 0.7500         
         Neg Pred Value : 0.9667         
             Prevalence : 0.1415         
         Detection Rate : 0.1132         
   Detection Prevalence : 0.1509         
      Balanced Accuracy : 0.8780         
                                         
       'Positive' Class : tested