¿Por qué evaluar la predicción?

En aprendizaje supervisado, el objetivo es construir un modelo capaz de producir predicciones útiles para nuevas observaciones.

Una vez entrenado el modelo, necesitamos cuantificar la calidad de esas predicciones y disponer de criterios que permitan comparar alternativas (Rainio et al., 2024).

\[ \text{Datos} \longrightarrow \text{Entrenamiento} \longrightarrow \text{Modelo} \longrightarrow \text{Predicciones} \longrightarrow \boxed{\text{Evaluación}} \]

La pregunta central es:

¿Cómo cuantificamos la calidad de las predicciones de un modelo?

Esta pregunta aparece tanto en problemas de regresión como de clasificación.

¿Qué significa que un modelo prediga bien?

El desempeño predictivo puede examinarse desde diferentes perspectivas (Flach, 2019; Rainio et al., 2024).

Por ejemplo:

• qué tan alejadas están las predicciones de los valores observados;
• con qué frecuencia ocurren determinados tipos de error;
• si algunos errores deben recibir mayor importancia que otros;
• qué tan bien el modelo distingue categorías o reproduce valores continuos;
• si las predicciones resultan adecuadas para el propósito del problema.

Por tanto, predecir bien no se reduce a una única propiedad.

La métrica elegida determina qué aspecto del desempeño estamos cuantificando.

De la propiedad de interés a la métrica

La evaluación puede entenderse como un problema de medición (Flach, 2019).

Primero debe identificarse qué propiedad del desempeño interesa evaluar y, posteriormente, seleccionar una métrica que la represente adecuadamente.

\[ \boxed{\text{Objetivo del problema}} \longrightarrow \boxed{\text{Propiedad de interés}} \longrightarrow \boxed{\text{Métrica de evaluación}} \]

La elección no es indiferente: distintas métricas aplicadas a las mismas predicciones pueden conducir a comparaciones diferentes entre modelos (Opitz, 2024).

Por ello, una métrica no debería elegirse únicamente porque sea habitual o porque aparezca por defecto en el software.

Entrenamiento y evaluación cumplen funciones distintas

El entrenamiento es el procedimiento mediante el cual un algoritmo utiliza los datos para construir un modelo predictivo.

Dependiendo del método, este proceso puede involucrar estimación de parámetros, construcción de reglas, optimización de márgenes, particiones sucesivas u otros procedimientos propios del algoritmo.

La evaluación, en cambio, utiliza las predicciones producidas por el modelo para cuantificar su desempeño:

\[ \text{valores observados y predichos} \longrightarrow \text{métrica de evaluación} \longrightarrow \text{medida de desempeño} \]

Por tanto, modelos entrenados mediante procedimientos diferentes pueden evaluarse y compararse utilizando una misma métrica.

La métrica de evaluación no tiene que coincidir con el criterio utilizado durante el entrenamiento.

Dos preguntas diferentes

La evaluación del desempeño predictivo plantea dos preguntas relacionadas, pero distintas (Rainio et al., 2024; Raschka, 2018):

En esta presentación estudiaremos las principales métricas utilizadas en:

\[ \boxed{\text{Regresión}} \qquad\text{y}\qquad \boxed{\text{Clasificación}} \]

Evaluación predictiva en regresión

En regresión, el modelo produce una predicción cuantitativa de una variable respuesta:

\[ \hat{y}=f(\mathbf{x}) \]

Cuando el objetivo es predictivo, el interés principal no es únicamente describir adecuadamente los datos utilizados para ajustar el modelo, sino determinar qué tan bien predice valores de la respuesta para nuevas observaciones.

Un buen ajuste sobre los datos de entrenamiento no garantiza necesariamente un buen desempeño predictivo fuera de muestra (Shmueli, 2010).

Evaluar una regresión con fines predictivos implica comparar los valores observados con los valores predichos y determinar qué aspectos de esas diferencias son relevantes para el problema.

De un buen ajuste a una buena predicción

En el análisis de regresión tradicional pueden utilizarse medidas orientadas al ajuste del modelo sobre los datos disponibles.

En aprendizaje supervisado, la pregunta cambia:

¿Qué tan cerca estarán las predicciones de los valores que realmente observaremos en nuevos casos?

Esto introduce dos ideas importantes:

• el desempeño debe evaluarse sobre predicciones que representen adecuadamente el comportamiento fuera de muestra;
• distintas medidas pueden valorar de manera diferente el mismo conjunto de predicciones.

Por ello, evaluar una regresión requiere definir primero qué característica del error predictivo queremos resumir.

¿Qué puede ocultar una medida global?

Dos modelos pueden presentar valores similares de una métrica global y, sin embargo, tener comportamientos predictivos muy diferentes.

Una medida agregada puede ocultar, por ejemplo:

• sesgo sistemático (el modelo tiende a sobreestimar o subestimar);
• errores grandes poco frecuentes que afectan de manera importante algunas predicciones;
• variabilidad desigual del error en distintas regiones de la respuesta;
• diferencias en el desempeño para valores pequeños, intermedios o extremos;
• distribuciones de errores muy distintas aun cuando su promedio sea parecido.

Por ello, las medidas numéricas deben interpretarse considerando qué resumen del error producen y, cuando sea necesario, complementarse con herramientas gráficas.

Error y residuo ordinario

En un modelo de regresión,

\[ Y_i=f(\mathbf X_i)+\varepsilon_i, \]

donde \(\varepsilon_i\) representa el error aleatorio:

\[ \varepsilon_i=Y_i-f(\mathbf X_i). \]

Como la función verdadera \(f(\mathbf X_i)\) es desconocida, el error aleatorio no es observable.

Una vez ajustado el modelo, la diferencia entre el valor observado y el valor predicho se denomina residuo ordinario:

\[ e_i=y_i-\hat{y}_i. \]

El residuo ordinario es una cantidad observable que expresa la discrepancia entre la respuesta observada y la predicción del modelo.

Interpretación del residuo ordinario

Con la convención

\[ e_i=y_i-\hat{y}_i \]

se tiene:

\[ e_i>0 \quad\Longrightarrow\quad \hat{y}_i<y_i \]

El modelo subestima el valor observado.

\[ e_i<0 \quad\Longrightarrow\quad \hat{y}_i>y_i \]

El modelo sobreestima el valor observado.

Sin embargo, si simplemente promediamos los residuos ordinarios,

\[ \frac{1}{n}\sum_{i=1}^{n}e_i, \]

valores positivos y negativos pueden compensarse.

Por ello, las principales medidas de desempeño transforman los residuos ordinarios antes de agregarlos.

Del residuo ordinario a una medida de desempeño

Una métrica de regresión puede entenderse como una regla que transforma y posteriormente resume los residuos ordinarios (Botchkarev, 2018).

Dos decisiones son especialmente importantes:

\[ e_i \quad\longrightarrow\quad g(e_i) \quad\longrightarrow\quad \text{agregación} \]

donde \(g(e_i)\) determina cómo se penaliza cada residuo ordinario.

Por ejemplo:

\[ g(e_i)=e_i^2 \qquad\text{o}\qquad g(e_i)=|e_i| \]

Estas transformaciones no son equivalentes: representan formas distintas de valorar las discrepancias entre los valores observados y predichos.

Error Cuadrático Medio (MSE)

El Error Cuadrático Medio se define como:

\[ MSE= \frac{1}{n} \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 = \frac{1}{n} \sum_{i=1}^{n}e_i^2 \]

Características principales:

• siempre es mayor o igual que cero;
• el valor ideal es \(0\);
• eleva los errores al cuadrado, por lo que los errores grandes reciben una penalización especialmente alta;
• se expresa en unidades cuadradas de la variable respuesta.

El MSE es útil cuando los errores grandes son especialmente importantes, aunque su escala dificulta una interpretación directa en las unidades originales de \(Y\).

Raíz del Error Cuadrático Medio (RMSE)

El RMSE devuelve el error cuadrático a las unidades originales de la variable respuesta:

\[ RMSE= \sqrt{ \frac{1}{n} \sum_{i=1}^{n} (y_i-\hat{y}_i)^2 } \]

Características:

• se expresa en las mismas unidades que \(Y\);
• mantiene la mayor penalización de los errores grandes introducida por el cuadrado;
• toma el valor \(0\) únicamente cuando todas las predicciones son exactas.

Como la raíz cuadrada es una transformación monótona, MSE y RMSE producen el mismo ordenamiento de modelos cuando se calculan sobre el mismo conjunto de observaciones.

La ventaja principal del RMSE frente al MSE es, por tanto, su interpretabilidad en la escala original.

Error Absoluto Medio (MAE)

El Error Absoluto Medio se define como:

\[ MAE= \frac{1}{n} \sum_{i=1}^{n} |y_i-\hat{y}_i| = \frac{1}{n} \sum_{i=1}^{n}|e_i| \]

Características:

• se expresa en las mismas unidades que \(Y\);
• representa directamente el promedio de las magnitudes absolutas de los errores;
• penaliza los errores de manera lineal;
• es menos sensible que RMSE a unos pocos errores extremadamente grandes.

El MAE resulta especialmente interpretable cuando interesa describir la magnitud promedio del error de predicción.

RMSE o MAE: ¿cuál es más apropiado?

RMSE y MAE representan funciones de pérdida distintas y, por tanto, valoran de manera diferente las discrepancias (Chai & Draxler, 2014; Hodson, 2022).

Ninguna medida es universalmente mejor: la elección depende de cuánto queremos penalizar los errores grandes y del objetivo del problema.

¿Con qué tipo de predicción es coherente cada métrica?

La elección de la función de pérdida también está relacionada con qué valor de la distribución condicional constituye la predicción óptima.

Aquí, predicción óptima significa el valor puntual que minimiza el error esperado para una nueva observación de \(Y\), no la estimación óptima de un parámetro.

Bajo pérdida cuadrática,

\[ L(y,\hat y)=(y-\hat y)^2, \]

la predicción óptima corresponde a la media condicional:

\[ \hat y(\mathbf{x})=E(Y\mid \mathbf{X}=\mathbf{x}) \]

Bajo pérdida absoluta,

\[ L(y,\hat y)=|y-\hat y|, \]

la predicción óptima corresponde a la mediana condicional.

Por tanto, escoger una medida no solo modifica cómo resumimos los errores: también determina qué predicción puntual minimiza el error esperado bajo ese criterio.

Coeficiente de determinación \(R^2\)

El \(R^2\) proporciona una medida relativa del error cuadrático de las predicciones:

\[ R^2= 1- \frac{ \sum_{i=1}^{n}(y_i-\hat y_i)^2 }{ \sum_{i=1}^{n}(y_i-\bar y)^2 } \]

donde \(\bar y\) es la media de los valores observados sobre los que se calcula la medida.

El numerador representa el error cuadrático de las predicciones y el denominador proporciona una referencia basada en la variabilidad de \(Y\) alrededor de su media (Chicco, Warrens, et al., 2021).

Por tanto:

• \(R^2=1\): las predicciones coinciden con los valores observados;
• \(R^2=0\): el error cuadrático de las predicciones es igual a la variabilidad de \(Y\) alrededor de \(\bar y\);
• \(R^2<0\): el error cuadrático de las predicciones es mayor que esa variabilidad.

A diferencia de MAE y RMSE, \(R^2\) es adimensional.

¿Qué aporta \(R^2\)?

MAE y RMSE expresan el tamaño de las discrepancias utilizando la escala de la variable respuesta.

El \(R^2\), en cambio, contextualiza el error cuadrático respecto de la variabilidad de los valores observados (Chicco, Warrens, et al., 2021).

Por ejemplo, un RMSE de 5 puede representar desempeños muy distintos si los valores de \(Y\):

• se concentran en un intervalo muy estrecho, o
• presentan una variabilidad considerable.

El \(R^2\) incorpora esa referencia y permite valorar el error de manera relativa.

MAE y RMSE informan sobre la magnitud de las discrepancias; \(R^2\) informa sobre su magnitud relativa a la variabilidad de la respuesta.

Comparación de las medidas principales

No existe una medida que resuma por sí sola todos los aspectos relevantes del desempeño predictivo.

Medidas porcentuales: MAPE

Cuando interesa expresar el error en términos relativos, puede utilizarse el Mean Absolute Percentage Error:

\[ MAPE= \frac{100}{n} \sum_{i=1}^{n} \left| \frac{y_i-\hat y_i}{y_i} \right| \]

Su interpretación porcentual es atractiva, pero presenta problemas importantes (Hyndman & Koehler, 2006):

• no está definido cuando \(y_i=0\);
• puede tomar valores extremadamente grandes cuando \(y_i\) está cerca de cero;
• puede introducir comportamientos asimétricos entre sobreestimación y subestimación.

Por ello, su uso requiere examinar cuidadosamente la escala y distribución de la variable respuesta.

SMAPE y RMSLE: otras formas de medir la discrepancia

SMAPE expresa el error en términos relativos; RMSLE compara las predicciones en escala logarítmica y enfatiza diferencias multiplicativas.

Una alternativa robusta: Mediana del Error Absoluto

La Mediana del Error Absoluto se define como:

\[ MedAE= \operatorname{mediana} \left( |y_i-\hat y_i| \right) \]

A diferencia del MAE, utiliza la mediana de las magnitudes de error.

Esto la hace especialmente resistente a unos pocos errores extremos.

Sin embargo, esa misma robustez implica que puede ocultar un mal desempeño en las colas de la distribución.

MedAE puede ser útil como medida complementaria, pero no debería utilizarse para ignorar errores grandes cuando estos son relevantes para el problema.

Las métricas numéricas no cuentan toda la historia

Una métrica reduce muchos errores individuales a un único número.

Por ello, es conveniente complementar las medidas numéricas con herramientas gráficas.

Algunas representaciones particularmente útiles son:

Valores observados vs. predichos

• permite comparar las predicciones con la línea ideal \(y=\hat y\);
• revela sesgos, compresión hacia la media y regiones con peor desempeño.

Errores de predicción vs. valores predichos

• permite identificar patrones sistemáticos;
• muestra cambios en la variabilidad del error;
• ayuda a detectar regiones donde el modelo funciona peor.

Distribución de los errores

• permite examinar asimetría, dispersión y errores extremos.

El análisis gráfico puede revelar estructuras que una medida agregada no muestra (Li et al., 2024).

Curva REC

Bi y Bennett (2003) propusieron las Regression Error Characteristic curves (REC) como una extensión de la lógica de las curvas ROC al problema de regresión.

Para una tolerancia \(\delta\geq0\):

\[ REC(\delta)= \frac{1}{n} \sum_{i=1}^{n} I\left(|e_i|\leq\delta\right) \]

La curva representa:

• Eje X: tolerancia máxima de error \(\delta\);
• Eje Y: proporción de predicciones cuyo error absoluto no supera esa tolerancia.

Por ejemplo, un valor

\[ REC(2)=0.80 \]

indicaría que el 80 % de las predicciones presentan errores absolutos no mayores que 2 unidades.

Interpretación de una curva REC

Una curva REC permite observar directamente cómo cambia el porcentaje de predicciones aceptables al aumentar la tolerancia al error.

En general:

• una curva más alta indica una mayor proporción de predicciones dentro de una tolerancia determinada;
• si una curva domina a otra, el modelo presenta mejor comportamiento para un amplio rango de tolerancias;
• si las curvas se cruzan, la preferencia entre modelos puede depender de cuál sea la tolerancia relevante para el problema.

La curva REC representa esencialmente la distribución acumulada del error absoluto y permite comparar modelos sin reducir inmediatamente todos los errores a una única medida (Bi & Bennett, 2003).

Esto resulta especialmente útil cuando el problema permite definir explícitamente qué magnitud de error es aceptable.

Curvas RROC: ¿qué representan?

RROC separa dos componentes del error de predicción (Hernández-Orallo, 2013):

\[ d_i=\hat y_i-y_i \]

• \(d_i>0\): sobreestimación.
• \(d_i<0\): subestimación.

Se acumulan por separado:

\[ OVER=\sum \max(d_i,0) \]

\[ UNDER=\sum \min(d_i,0) \]

La gráfica representa:

\[ \boxed{X=OVER} \qquad \boxed{Y=UNDER} \]

Cada modelo, con sus predicciones originales, corresponde inicialmente a un punto del plano RROC.

Curvas RROC: un punto del modelo

Supongamos que se predice la duración de cuatro proyectos y se obtienen:

\[ d_i=2,\;-2,\;-1,\;2 \]

Por tanto:

\[ OVER=2+2=4 \]

\[ UNDER=-2-1=-3 \]

El modelo se representa por:

\[ \boxed{(4,-3)} \]

Esto significa que, entre los cuatro proyectos, el modelo acumula:

• 4 días de sobreestimación;
• 3 días de subestimación.

Un mismo modelo puede sobreestimar algunos casos y subestimar otros.

Curvas RROC: ¿cómo aparece la curva?

Se desplazan todas las predicciones en una misma cantidad \(s\):

\[ \hat y_i^{(s)}=\hat y_i+s \]

No se eligen valores de \(s\) al azar.

Los puntos relevantes aparecen cuando algún error cambia de signo:

\[ d_i+s=0 \quad\Rightarrow\quad s=-d_i \]

Para

\[ d_i=2,\;-2,\;-1,\;2 \]

los desplazamientos relevantes son:

\[ s=-2,\;1,\;2 \]

También se considera \(s=0\), que representa las predicciones originales.

Curvas RROC: construcción

Para cada desplazamiento se recalculan \(OVER\) y \(UNDER\):

Por tanto, se obtienen los puntos:

\[ (0,-7),\;(4,-3),\;(6,-1),\;(9,0) \]

Al unirlos se forma la curva RROC.

• desplazar hacia arriba (\(s>0\)) reduce la subestimación, pero aumenta la sobreestimación;
• desplazar hacia abajo (\(s<0\)) produce el efecto contrario.

Curvas RROC: ¿para qué sirven?

Supongamos que se predice la duración de proyectos.

• Subestimar 10 días puede provocar retrasos, falta de recursos o incumplimientos.
• Sobreestimar 10 días puede generar recursos ociosos.

Aunque ambos errores tienen la misma magnitud, sus consecuencias pueden ser diferentes.

La curva RROC permite observar cómo cambia el equilibrio entre ambos al desplazar las predicciones.

Es especialmente útil cuando sobreestimar y subestimar tienen costos diferentes.

REC y RROC responden preguntas diferentes

Ambas representaciones complementan las medidas escalares tradicionales al mostrar aspectos de la distribución de errores que MAE, RMSE o \(R^2\) resumen en un único número.

Más allá de una predicción puntual

Hasta ahora hemos supuesto que el modelo produce un único valor:

\[ \hat y=30. \]

Pero algunos métodos pueden proporcionar información adicional sobre la incertidumbre de la predicción.

Por ejemplo:

\[ \text{Predicción puntual: }30 \]

\[ \text{Cuantil 0.90: }45 \]

\[ \text{Intervalo predictivo del 80%: }[22,\,38] \]

Estas predicciones responden a preguntas diferentes.

Un RMSE o un MAE permiten evaluar la predicción puntual, pero no indican si un cuantil o un intervalo predictivo están bien construidos.

La medida de evaluación debe corresponder al tipo de predicción producida.

¿Cómo se evalúan cuantiles e intervalos?

Predicción de cuantiles

Si el modelo predice el cuantil \(\tau\), puede utilizarse la pérdida pinball (gneiting2011?):

\[ L_\tau(y,q)= \begin{cases} \tau(y-q), & y\geq q,\\ (1-\tau)(q-y), & y<q. \end{cases} \]

Por ejemplo, para \(\tau=0.90\), subestimar recibe mayor penalización que sobreestimar, porque se está intentando predecir un valor que deje aproximadamente al 90 % de las observaciones por debajo.

Intervalos predictivos

Un intervalo predictivo del 80 % busca contener aproximadamente al 80 % de los valores futuros de \(Y\).

Su evaluación debe considerar conjuntamente:

• cobertura: qué proporción de valores observados cae dentro del intervalo;
• amplitud: qué tan estrechos son los intervalos.

Un intervalo muy ancho puede alcanzar una cobertura elevada y, aun así, proporcionar poca información.

¿Cómo elegir una medida de regresión?

La elección debe comenzar por la pregunta que se desea responder.

La mejor medida no es la más popular, sino la que representa adecuadamente qué significa una buena predicción en el problema estudiado.

Clasificación: ¿qué queremos predecir?

En un problema de clasificación, la variable respuesta \(Y\) representa una categoría entre un conjunto de clases posibles.

A partir de los predictores \(\mathbf{x}\), el modelo puede proporcionar información que permita:

• asignar una observación a una clase;
• ordenar observaciones según su propensión a pertenecer a una clase;
• estimar probabilidades de pertenencia a las distintas clases.

Evaluar un clasificador requiere primero identificar qué salida produce el modelo y para qué será utilizada.

¿Qué puede producir un clasificador?

Un modelo de clasificación puede proporcionar distintos tipos de salida:

Estas salidas no son equivalentes.

Por ejemplo, dos observaciones pueden recibir la misma clase aunque sus probabilidades estimadas sean:

\[ \hat p_1=0.51, \qquad \hat p_2=0.99. \]

La clasificación final es la misma, pero la información proporcionada por el modelo es muy diferente.

¿Qué salida necesitamos en cada problema?

No siempre necesitamos el mismo tipo de predicción. La salida útil depende de la decisión o del uso posterior del modelo.

La mejor salida no depende únicamente del algoritmo, sino de qué información necesita la aplicación para actuar.

De la predicción a la decisión

Cuando el modelo produce un score o una probabilidad, la clase predicha surge después de aplicar una regla de decisión.

Por ejemplo, en clasificación binaria:

\[ \hat Y= \begin{cases} 1, & \hat p \geq c,\\ 0, & \hat p<c, \end{cases} \]

donde \(c\) es el punto de corte.

Por tanto:

\[ \text{score o probabilidad} \;\longrightarrow\; \text{regla de decisión} \;\longrightarrow\; \text{clase predicha}. \]

El mismo modelo puede producir decisiones diferentes si cambia el punto de corte de acuerdo con las consecuencias de los falsos positivos y falsos negativos o con las necesidades de la aplicación.

Convertir una predicción continua en una clase implica perder información.

Un score no es necesariamente una probabilidad

Un score puede ser muy útil para ordenar observaciones sin tener una interpretación probabilística directa.

Incluso una salida restringida al intervalo \([0,1]\) no garantiza por sí sola que pueda interpretarse como una probabilidad confiable.

Por ejemplo, si un modelo asigna:

\[ \hat p=0.80, \]

interpretarlo como una probabilidad implica esperar que, entre observaciones comparables a las que se asigna aproximadamente 0.80, el evento ocurra aproximadamente en el 80 % de los casos.

Esta propiedad se denomina calibración.

Un modelo puede discriminar bien entre las clases y, al mismo tiempo, producir probabilidades mal calibradas.

¿Qué propiedad queremos evaluar?

La medida apropiada depende del tipo de predicción y de la pregunta de evaluación.

Clasificar correctamente, discriminar bien y producir buenas probabilidades son propiedades relacionadas, pero diferentes.

Evaluación de clases predichas: caso binario

En esta subsección evaluaremos la clase predicha por el modelo.

Por tanto, compararemos:

\[ \text{clase observada} \qquad \text{vs.} \qquad \text{clase predicha}. \]

Trabajaremos primero con el caso de clasificación binaria, donde una de las clases se define como la clase positiva (evento de interés) y la otra como la clase negativa.

La clase positiva representa el evento que hemos decidido estudiar; no implica necesariamente un resultado favorable.

Matriz de confusión: clasificación binaria

La matriz de confusión resume las cuatro combinaciones posibles entre la clase observada y la clase predicha.

• TP: el evento ocurrió y el modelo lo predijo.
• TN: el evento no ocurrió y el modelo lo predijo correctamente.
• FP: el evento no ocurrió, pero el modelo predijo que sí.
• FN: el evento ocurrió, pero el modelo no lo detectó.

Accuracy: la medida más inmediata

La primera pregunta que podemos hacer es:

¿Qué proporción de observaciones clasificó correctamente el modelo?

La accuracy o exactitud es:

\[ \text{Accuracy} = \frac{TP+TN} {TP+FP+FN+TN}. \]

Su complemento es la tasa de error:

\[ \text{Error} = 1-\text{Accuracy} = \frac{FP+FN} {TP+FP+FN+TN}. \]

La accuracy constituye una primera descripción natural del desempeño: simplemente cuenta los aciertos respecto del total.

Accuracy: dos elementos necesarios para interpretarla

1. La regla de clasificación

Si la clase predicha se obtiene a partir de una probabilidad,

\[ \hat Y= \begin{cases} 1, & \hat p\geq c,\\ 0, & \hat p<c, \end{cases} \]

la matriz de confusión y la accuracy dependen del punto de corte \(c\).

Cambiar \(c\) puede modificar simultáneamente TP, FP, FN y TN.

2. Un valor de referencia

Un benchmark sencillo consiste en predecir siempre la clase mayoritaria.

Si \(\pi\) es la proporción observada de positivos:

\[ \text{Accuracy}_{ref} = \max(\pi,1-\pi). \]

Esta referencia suele denominarse no-information rate.

Una accuracy elevada puede aportar poco si apenas supera la obtenida prediciendo siempre la clase más frecuente.

Kappa de Cohen: complementando la accuracy

Superar el accuracy de un clasificador de referencia es informativo, pero todavía podemos preguntar:

¿Cuánto de la concordancia observada excede la que cabría esperar a partir de las distribuciones marginales de las clases?

El coeficiente Kappa de Cohen fue originalmente desarrollado como una medida de concordancia y se define como:

\[ \kappa= \frac{O-E}{1-E}, \]

donde:

• \(O\) es la concordancia observada, es decir, la accuracy;
• \(E\) es la concordancia esperada a partir de los totales marginales de la matriz de confusión.

Así, Kappa permite contextualizar la accuracy respecto de un nivel de concordancia esperado.

¿Cómo interpretar Kappa?

El estadístico toma valores entre \(-1\) y \(1\):

• \(\kappa=1\): concordancia perfecta;
• \(\kappa=0\): la concordancia observada coincide con la esperada según los marginales;
• \(\kappa<0\): la concordancia es menor que la esperada.

En un problema predictivo, un Kappa claramente negativo es poco habitual y merece ser investigado: puede indicar un desempeño sistemáticamente contrario a las clases observadas o incluso problemas en la codificación o asignación de las etiquetas.

Se han propuesto escalas cualitativas para interpretar Kappa, por ejemplo:

Estas categorías son solo orientativas: no son umbrales universales para decidir si un clasificador es bueno o malo.

Accuracy y Kappa deben interpretarse conjuntamente

Suponga:

\[ \text{Accuracy}=0.90, \qquad E=0.85. \]

Entonces:

\[ \kappa= \frac{0.90-0.85}{1-0.85} = 0.33. \]

Aunque el modelo acierta el 90 % de las observaciones, la concordancia por encima de la esperada según los marginales es bastante menor.

• A tiene mayor proporción de aciertos.
• B presenta mayor concordancia por encima de la esperada.

Conviene interpretar accuracy + Kappa + distribución de clases, no usar umbrales rígidos de Kappa para declarar que un modelo es “bueno” o “malo”.

Una misma accuracy puede ocultar desempeños distintos

Considere dos clasificadores evaluados sobre 100 observaciones: 50 positivas y 50 negativas.

Ambos clasificadores tienen:

\[ \text{Accuracy}=0.80. \]

Sin embargo:

• A reconoce mejor los casos positivos, pero genera más falsos positivos;
• B reconoce mejor los casos negativos, pero deja escapar más positivos.

La accuracy indica cuántas decisiones fueron correctas, pero no distingue qué tipo de aciertos y errores produjo el modelo.

El contexto determina qué error importa

Suponga que la clase positiva corresponde a spam.

• FP: un correo legítimo es clasificado como spam.
• FN: un correo spam llega a la bandeja de entrada.

Si perder un correo legítimo resulta mucho más grave que permitir que pase algún mensaje spam, puede preferirse el clasificador que produzca menos falsos positivos, aunque ambos tengan la misma accuracy.

En otro problema puede ocurrir exactamente lo contrario.

No siempre interesa acertar por igual en las dos clases: las consecuencias de FP y FN dependen del problema.

Una misma matriz, diferentes preguntas

A partir de la misma matriz de confusión se pueden responder preguntas distintas.

Por ello, estas medidas no son intercambiables: sus denominadores corresponden a preguntas diferentes.

Sensibilidad y especificidad

Falsa alarma

La falsa alarma o tasa de falsos positivos mide la proporción de casos realmente negativos que el modelo clasifica incorrectamente como positivos:

\[ \text{Falsa alarma} = 1-\text{Especificidad} = \frac{FP}{FP+TN}. \]

Por tanto:

• una alta especificidad implica pocas falsas alarmas;
• una baja especificidad implica muchas falsas alarmas.

Esta medida será especialmente importante más adelante, porque constituye uno de los ejes de la curva ROC.

Volvamos a los dos clasificadores

Ahora podemos observar lo que la accuracy ocultaba:

• A detecta mejor los positivos;
• B identifica mejor los negativos.

Ninguno es necesariamente mejor en términos generales.

La elección depende de cuál de los dos tipos de error resulta más importante en el problema estudiado.

Precisión y valor predictivo negativo

Ahora condicionamos sobre la clase predicha.

Precisión o valor predictivo positivo (PPV)

\[ \text{Precisión} = PPV = \frac{TP}{TP+FP} \]

De los casos predichos como positivos, ¿qué proporción era realmente positiva?

Valor predictivo negativo (NPV)

\[ NPV = \frac{TN}{TN+FN} \]

De los casos predichos como negativos, ¿qué proporción era realmente negativa?

Por tanto:

Precisión, NPV y prevalencia

Sensibilidad y especificidad condicionan sobre la clase observada.

En cambio, precisión y NPV dependen también de la prevalencia del evento:

\[ \pi = \frac{TP+FN} {TP+FN+FP+TN}. \]

Por ejemplo:

\[ PPV = \frac{\text{Sensibilidad}\,\pi} {\text{Sensibilidad}\,\pi+ (1-\text{Especificidad})(1-\pi)}. \]

Por ello, cuando el evento es poco frecuente, un modelo puede presentar sensibilidad y especificidad elevadas y, sin embargo, tener una precisión considerablemente menor.

La frecuencia del evento forma parte de la interpretación de las predicciones positivas y negativas.

Balanced accuracy

Una vez distinguidos sensibilidad y especificidad, podemos construir una medida global que otorgue el mismo peso a las dos clases observadas:

\[ \text{Balanced Accuracy} = \frac{\text{Sensibilidad}+\text{Especificidad}}{2}. \]

La diferencia con la accuracy ordinaria puede verse escribiendo:

\[ \text{Accuracy} = \pi\cdot\text{Sensibilidad} + (1-\pi)\cdot\text{Especificidad}. \]

Mientras que:

\[ \text{Balanced Accuracy} = \frac{1}{2}\text{Sensibilidad} + \frac{1}{2}\text{Especificidad}. \]

Por tanto:

• Accuracy: pondera el desempeño de cada clase según su frecuencia.
• Balanced accuracy: asigna el mismo peso a ambas clases observadas.

Balanced accuracy no es una versión universalmente “mejor” de accuracy: representa una elección diferente sobre cómo ponderar las clases.

¿Cuándo resulta útil la balanced accuracy?

La balanced accuracy es especialmente útil cuando:

• las clases están desbalanceadas;
• interesa que el desempeño sobre ambas clases tenga el mismo peso;
• no se desea que la clase mayoritaria domine la medida global.

La accuracy sigue siendo interpretable cuando:

• la distribución de clases evaluada representa la población de interés;
• interesa la proporción total de clasificaciones correctas;
• los errores individuales reciben una importancia comparable.

En el ejemplo anterior:

\[ BA_A=BA_B=0.80. \]

Por tanto, tampoco la balanced accuracy decide cuál de los dos clasificadores es preferible cuando las consecuencias de FP y FN son diferentes.

Medida F1

La medida F1 combina dos aspectos del desempeño sobre la clase positiva:

• Precisión: de los positivos predichos, ¿cuántos son realmente positivos?
• Sensibilidad (recall): de los positivos reales, ¿cuántos fueron detectados?

Utiliza la media armónica:

\[ F_1 = 2 \frac{\text{Precisión}\times\text{Sensibilidad}} {\text{Precisión}+\text{Sensibilidad}} = \frac{2TP}{2TP+FP+FN}. \]

Toma valores entre 0 y 1 y solo puede ser alta cuando precisión y sensibilidad son ambas altas.

F1 se concentra en la clase positiva y no incorpora directamente los verdaderos negativos.

Interpretación práctica de F1

La combinación de precisión y sensibilidad permite reconocer distintos comportamientos del clasificador:

• Alta precisión + baja sensibilidad: el modelo es conservador al declarar positivos; produce pocos FP, pero deja escapar muchos positivos reales.

• Alta sensibilidad + baja precisión: detecta gran parte de los positivos, pero genera más FP.

• Si una de las dos medidas disminuye mucho, F1 también disminuye, aunque la otra sea elevada.

Esto ocurre porque la media armónica penaliza los desequilibrios entre ambas medidas.

Un mismo valor de accuracy puede ocultar comportamientos muy diferentes sobre la clase positiva.

¿Cuándo resulta informativa F1?

F1 resulta especialmente útil cuando:

• existe una clase positiva claramente definida;
• interesan simultáneamente precisión y sensibilidad;
• los verdaderos negativos no constituyen el foco principal de la evaluación.

No debería utilizarse como resumen único cuando:

• interesa también el desempeño sobre la clase negativa;
• accuracy o balanced accuracy responden mejor al objetivo;
• FP y FN tienen consecuencias explícitamente cuantificables.

F1 no es una solución general al desbalance de clases: responde a una pregunta específica sobre la clase positiva.

Ejemplo ilustrativo de F1

Considere la siguiente matriz de confusión:

Entonces:

\[ \text{Precisión} = \frac{60}{60+15} = 0.80, \qquad \text{Sensibilidad} = \frac{60}{60+40} = 0.60. \]

Por tanto:

\[ F_1 = 2\frac{0.80(0.60)}{0.80+0.60} \approx 0.69. \]

El modelo tiene mayor precisión que sensibilidad: sus predicciones positivas son relativamente confiables, pero deja sin detectar una proporción importante de positivos reales.

Accuracy alta, pero desempeño pobre en la clase positiva

Considere 10 000 observaciones, de las cuales solo 200 son positivas:

Se obtiene:

\[ \text{Accuracy}=0.971, \qquad \text{Precisión}=0.20, \qquad \text{Sensibilidad}=0.15, \qquad F_1\approx0.17. \]

La accuracy es muy alta porque la gran mayoría de los negativos fue correctamente clasificada.

Sin embargo, el modelo:

• detecta solo el 15 % de los positivos;
• acierta solo el 20 % de sus predicciones positivas.

Accuracy y F1 no se contradicen: están resumiendo aspectos diferentes del desempeño.

Medida \(F_\beta\)

La familia \(F_\beta\) generaliza F1 y permite modificar la importancia relativa de precisión y sensibilidad:

\[ F_\beta = (1+\beta^2) \frac{\text{Precisión}\times\text{Sensibilidad}} {\beta^2\text{Precisión}+\text{Sensibilidad}}. \]

• \(\beta=1\): igual ponderación relativa \(\rightarrow F_1\).
• \(\beta>1\): mayor énfasis en sensibilidad.
• \(\beta<1\): mayor énfasis en precisión.

Por tanto, \(\beta\) debe elegirse de acuerdo con qué aspecto del desempeño sobre la clase positiva se desea enfatizar.

\(\beta\) no representa directamente una razón de costos entre FP y FN.

Comparando \(F_\beta\)

En el ejemplo anterior:

\[ \text{Precisión}=0.20, \qquad \text{Sensibilidad}=0.15. \]

Entonces:

\[ F_{0.5}=0.1875, \qquad F_1\approx0.1714, \qquad F_2\approx0.1579. \]

Como la sensibilidad es menor que la precisión:

• \(F_{0.5}\) es mayor porque concede más importancia relativa a la precisión;
• \(F_2\) es menor porque concede más importancia a la sensibilidad, que es precisamente el componente más débil del modelo.

\(F_\beta\) no mejora el desempeño: cambia qué combinación de precisión y sensibilidad estamos resumiendo.

¿Cómo elegir \(\beta\)?

La elección debe partir de la pregunta de evaluación:

No existe un valor de \(\beta\) asociado universalmente a un dominio como salud, fraude o seguridad: dentro de un mismo dominio pueden existir decisiones con consecuencias muy diferentes.

Además, F1 y \(F_\beta\) dependen de la regla de clasificación utilizada: al cambiar el punto de corte cambian precisión, sensibilidad y, por tanto, estas medidas.

Si las consecuencias de FP y FN pueden expresarse mediante costos o utilidad, conviene evaluarlas directamente en lugar de intentar codificarlas mediante un valor de \(\beta\).

MCC: una medida basada en las cuatro celdas

El coeficiente de correlación de Matthews (MCC) utiliza las cuatro celdas de la matriz:

\[ MCC = \frac{TP\,TN-FP\,FN} {\sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}. \]

Puede interpretarse como la correlación entre las clases observadas y las clases predichas.

• \(MCC=1\): clasificación perfecta.
• \(MCC=0\): ausencia de asociación entre observación y predicción.
• \(MCC=-1\): clasificación completamente opuesta.

A diferencia de F1, incorpora TP, TN, FP y FN.

MCC proporciona un resumen global útil, pero no sustituye la lectura de sensibilidad, especificidad, precisión ni las consecuencias de los errores.

Selección de Medidas

• No existe una respuesta sencilla a la pregunta relacionada a que medida de evaluación usar.

• En general, ningún clasificador es óptimo para todas las métricas de evaluación.

• Cuando se evalúa un problema de clasificación en general, la exactitud es más que suficiente, junto con el análisis del coeficiente Kappa de Cohen.

• Por supuesto, si existen problemas de categorías no balanceadas, uno debería tener en cuenta las medidas F para verificar si existe un buen balance entre la precisión y la sensibilidad.

• En problemas específicos, hay que tener mucho cuidado con la selección de la medida.

• Por ejemplo, cuando existe un alto costo relacionado a la clasificación de la clase negativa, una falsa alarma muy alta es problemática.

• En algunos casos es recomendable usar múltiples medidas, y buscar un balance entre ellas.

Entonces, ¿qué medida utilizar?

No existe una única medida adecuada para todos los problemas.

La elección de la medida comienza por determinar qué aspecto de las decisiones de clasificación queremos evaluar.

Hasta aquí: clasificación binaria

Hasta ahora hemos evaluado problemas con dos clases, distinguiendo una clase positiva y una clase negativa.

En un problema con más de dos categorías aparecen nuevas preguntas:

• ¿cómo se extiende la matriz de confusión?
• ¿cómo evaluamos el desempeño sobre una clase particular?
• ¿cómo resumimos el desempeño cuando existen varias clases?
• ¿qué significa promediar métricas entre clases?

Antes de pasar a la evaluación de scores y probabilidades, extenderemos estas ideas al caso de clasificación multiclase.

Clasificación multiclase

En un problema multiclase, la variable respuesta puede tomar más de dos categorías:

\[ Y\in\{1,2,\ldots,C\}, \qquad C>2. \]

Seguimos evaluando:

\[ \text{clase observada} \qquad \text{vs.} \qquad \text{clase predicha}. \]

La diferencia es que ya no existe una única clase positiva y una única clase negativa.

En multiclase debemos distinguir entre desempeño global y desempeño específico de cada clase.

Matriz de confusión multiclase

Para \(C\) clases, la matriz de confusión tiene dimensión:

\[ C\times C. \]

Por ejemplo:

La diagonal representa clasificaciones correctas y las celdas fuera de la diagonal indican qué categorías se están confundiendo entre sí.

La accuracy conserva su definición:

\[ \text{Accuracy} = \frac{\sum_{c=1}^{C}n_{cc}}{N}. \]

Dos clasificadores pueden tener la misma accuracy y cometer errores entre categorías completamente diferentes (Gorodkin, 2004; Opitz, 2024).

Evaluación de una clase: one-vs-rest

Para evaluar una clase particular \(c\), podemos considerarla como positiva y agrupar las demás como negativas:

\[ c \qquad \text{vs.} \qquad \text{resto}. \]

Así obtenemos para cada clase:

\[ TP_c,\qquad FP_c,\qquad FN_c,\qquad TN_c \]

y podemos calcular:

• sensibilidad o recall;
• precisión;
• especificidad;
• F1.

Por ejemplo:

Una buena medida global puede ocultar que una categoría particular presenta un desempeño claramente inferior (Farhadpour et al., 2024; Opitz, 2024).

¿Cómo resumir el desempeño entre clases?

Cuando tenemos una medida \(M_c\) para cada clase podemos resumirla de diferentes maneras.

Macro promedio

\[ M_{\text{macro}} = \frac{1}{C}\sum_{c=1}^{C}M_c. \]

Cada clase recibe el mismo peso.

Promedio ponderado

\[ M_{\text{weighted}} = \sum_{c=1}^{C}\frac{n_c}{N}M_c. \]

Cada clase recibe un peso proporcional a su frecuencia.

La forma de promediar determina qué clases tienen mayor influencia sobre el resultado final (Farhadpour et al., 2024; Opitz, 2024).

Macro-F1

El macro-F1 se obtiene calculando primero F1 para cada clase:

\[ F1_1,\;F1_2,\ldots,F1_C \]

y luego tomando su promedio:

\[ F1_{\text{macro}} = \frac{1}{C}\sum_{c=1}^{C}F1_c. \]

Para el ejemplo anterior:

\[ F1_{\text{macro}} = \frac{0.90+0.67+0.75}{3} = 0.773. \]

Cada clase contribuye por igual, por lo que una clase poco frecuente con desempeño bajo no queda ocultada por las clases mayoritarias.

Macro-F1 significa promedio de los F1 por clase; no debe confundirse con calcular F1 a partir de la precisión y recall promedios (Opitz & Burst, 2019).

¿Qué ocurre con el promedio ponderado?

Suponga que la clase A representa el 80 % de las observaciones y las clases B y C son mucho menos frecuentes.

Un F1 ponderado:

\[ F1_{\text{weighted}} = \sum_{c=1}^{C}\frac{n_c}{N}F1_c \]

estará fuertemente influido por el desempeño de A.

Por tanto:

• Macro-F1: todas las clases tienen el mismo peso.
• Weighted-F1: las clases frecuentes tienen mayor peso.

Un weighted-F1 elevado puede coexistir con un desempeño pobre en una clase minoritaria (Farhadpour et al., 2024).

Si las clases minoritarias son relevantes, conviene examinar las métricas por clase y no depender únicamente del promedio ponderado.

Micro-F1: una simplificación importante

El promedio micro agrega primero los TP, FP y FN de todas las clases y después calcula la medida.

En clasificación multiclase single-label, cuando cada observación pertenece a una sola clase y todas las clases son incluidas:

\[ \text{Micro-Precision} = \text{Micro-Recall} = F1_{\text{micro}} = \text{Accuracy}. \]

Por ejemplo, si:

\[ \text{Accuracy}=0.82, \]

entonces:

\[ F1_{\text{micro}}=0.82. \]

En este contexto, micro-F1 no aporta información adicional a la accuracy (Farhadpour et al., 2024).

Balanced accuracy en multiclase

La balanced accuracy se obtiene promediando el recall de todas las clases:

\[ \text{Balanced Accuracy} = \frac{1}{C} \sum_{c=1}^{C} \text{Recall}_c. \]

Por tanto, en clasificación multiclase nominal:

\[ \boxed{ \text{Balanced Accuracy} = \text{Macro-Recall} } \]

A diferencia de la accuracy:

\[ \text{Accuracy} = \sum_{c=1}^{C} \frac{n_c}{N} \text{Recall}_c, \]

la balanced accuracy asigna el mismo peso a cada clase (Brodersen et al., 2010; Farhadpour et al., 2024).

Es especialmente informativa cuando no queremos que las clases más frecuentes dominen la evaluación.

Medidas globales multiclase

Además de la accuracy, pueden utilizarse medidas globales que consideran toda la matriz de confusión.

Kappa conserva las limitaciones ya discutidas respecto de su dependencia de los marginales (Byrt et al., 1993; Delgado & Tibau, 2019).

MCC puede extenderse al caso multiclase utilizando información de toda la matriz (Gorodkin, 2004; Jurman et al., 2012).

Kappa y MCC pueden complementar la evaluación, pero ninguno sustituye la matriz de confusión ni las medidas por clase.

¿Qué conviene reportar en multiclase?

Una evaluación básica debería mostrar:

Una única medida global puede ocultar errores importantes en categorías específicas (Farhadpour et al., 2024; Opitz, 2024).

Clasificación ordinal: no todos los errores son iguales

Si las categorías poseen un orden natural:

\[ \text{bajo}<\text{medio}<\text{alto}, \]

puede resultar razonable distinguir entre errores cercanos y errores extremos.

Por ejemplo:

\[ \text{bajo}\rightarrow\text{medio} \]

puede ser menos grave que:

\[ \text{bajo}\rightarrow\text{alto}. \]

Una posibilidad es utilizar Kappa ponderado, asignando diferentes pesos a los desacuerdos según la distancia entre las categorías (Cohen, 1968).

Los pesos deben justificarse: el hecho de que las categorías estén ordenadas no implica automáticamente que las distancias entre ellas sean iguales (Yılmaz & Demirhan, 2023).

De las clases predichas a la discriminación

Hasta aquí hemos evaluado clases predichas, tanto en clasificación binaria como multiclase.

Todas las medidas anteriores parten de una decisión de clasificación ya realizada y, por tanto, de una regla de decisión concreta.

Sin embargo, muchos clasificadores producen primero un score o una probabilidad, antes de asignar una clase.

Para estudiar esta nueva dimensión volveremos inicialmente al caso binario.

¿Qué tan bien ordena o discrimina el modelo entre casos positivos y negativos sin depender de un único punto de corte?

De las clases predichas a la discriminación

Hasta aquí hemos evaluado clases predichas, tanto en clasificación binaria como multiclase.

Todas las medidas anteriores parten de una decisión de clasificación ya realizada y, por tanto, de una regla de decisión concreta.

Sin embargo, muchos clasificadores producen primero un score o una probabilidad, antes de asignar una clase.

Para estudiar esta nueva dimensión volveremos inicialmente al caso binario.

¿Qué tan bien ordena o discrimina el modelo entre casos positivos y negativos sin depender de un único punto de corte?

Del punto de corte a la curva ROC

En clasificación binaria, un score o una probabilidad puede convertirse en una clase mediante un punto de corte \(c\):

\[ \hat Y= \begin{cases} 1, & s\geq c,\\ 0, & s<c. \end{cases} \]

Al modificar \(c\), cambia la matriz de confusión y, por tanto:

\[ \text{Sensibilidad}(c) \qquad\text{y}\qquad \text{FPR}(c)=1-\text{Especificidad}(c). \]

• al disminuir el umbral, normalmente aumentan TPR y FPR;
• al aumentarlo, normalmente disminuyen ambos.

La curva ROC describe el conjunto de decisiones que puede producir un mismo score al recorrer diferentes puntos de corte (Keilwagen et al., 2014).

Ejemplo: del score a diferentes decisiones

Supongamos seis observaciones ordenadas de mayor a menor score:

Si fijamos un umbral \(c\), clasificamos como positiva toda observación que cumpla:

\[ s\geq c. \]

La misma ordenación puede producir diferentes matrices de confusión dependiendo del punto de corte.

Ejemplo: ¿qué ocurre al mover el umbral?

Reducir el umbral facilita detectar positivos, pero normalmente aumenta también el número de negativos clasificados como positivos.

Ejemplo: puntos de la curva ROC

Para cada posible umbral calculamos:

\[ TPR=\text{Sensibilidad}, \qquad FPR=1-\text{Especificidad}. \]

Cada fila genera un punto:

\[ (FPR,TPR). \]

Ejemplo: construcción de la curva ROC

library(ggplot2)

roc_ej <- data.frame(
  FPR = c(0, 0, 1/3, 1/3, 2/3, 2/3, 1),
  TPR = c(0, 1/3, 1/3, 2/3, 2/3, 1, 1)
)

ggplot(roc_ej, aes(x = FPR, y = TPR)) +
  geom_step(direction = "vh", linewidth = 1) +
  geom_point(size = 3) +
  geom_abline(
    intercept = 0,
    slope = 1,
    linetype = "dashed"
  ) +
  coord_equal(
    xlim = c(0, 1),
    ylim = c(0, 1)
  ) +
  labs(
    x = "Tasa de falsos positivos (FPR)",
    y = "Sensibilidad (TPR)"
  ) +
  theme_minimal(base_size = 14)

Cada nuevo punto aparece cuando el umbral cruza el score de una observación.

La curva ROC resume todas estas decisiones posibles, no una sola clasificación.

Curva ROC

La curva ROC representa, para los distintos puntos de corte:

\[ \text{FPR} = 1-\text{Especificidad} \]

en el eje horizontal y:

\[ \text{TPR} = \text{Sensibilidad} \]

en el eje vertical.

Cada punto de la curva corresponde a una regla de clasificación diferente.

Un clasificador con buena capacidad de discriminación tiende a alcanzar una sensibilidad elevada manteniendo una tasa de falsos positivos relativamente baja.

ROC evalúa principalmente la capacidad del score para separar u ordenar positivos y negativos, no una clasificación obtenida con un único umbral.

Regiones de la curva ROC

roc_ref <- data.frame(
  FPR = seq(0, 1, length.out = 200)
)

ggplot(roc_ref, aes(x = FPR)) +
  geom_line(
    aes(y = FPR),
    linetype = "dashed"
  ) +
  geom_point(
    data = data.frame(FPR = 0, TPR = 1),
    aes(x = FPR, y = TPR),
    size = 4
  ) +
  annotate(
    "text",
    x = 0.12, y = 0.95,
    label = "Discriminación ideal"
  ) +
  annotate(
    "text",
    x = 0.70, y = 0.62,
    label = "Sin discriminación"
  ) +
  coord_equal(
    xlim = c(0, 1),
    ylim = c(0, 1)
  ) +
  labs(
    x = "Tasa de falsos positivos (FPR)",
    y = "Sensibilidad (TPR)"
  ) +
  theme_minimal(base_size = 14)

• \((0,0)\): ninguna observación es clasificada como positiva.
• \((1,1)\): todas las observaciones son clasificadas como positivas.
• \((0,1)\): separación perfecta.
• la diagonal representa ausencia de capacidad discriminativa.

Regiones de la Curva ROC

El equilibrio entre sensibilidad y especificidad

Reducir el punto de corte permite clasificar más observaciones como positivas:

\[ \downarrow c \quad\Rightarrow\quad \uparrow\text{Sensibilidad} \quad\text{y normalmente}\quad \uparrow\text{FPR}. \]

Por el contrario:

\[ \uparrow c \quad\Rightarrow\quad \downarrow\text{Sensibilidad} \quad\text{y normalmente}\quad \downarrow\text{FPR}. \]

Por tanto, no existe un único punto de corte que maximice simultáneamente sensibilidad y especificidad.

El punto adecuado depende de qué errores se desean controlar y de las consecuencias de la decisión (Whitney et al., 2022).

Comparación de curvas ROC

fpr <- seq(0, 1, length.out = 200)

curvas <- data.frame(
  FPR = rep(fpr, 3),
  TPR = c(
    fpr^0.25,
    fpr^0.50,
    fpr
  ),
  Modelo = rep(
    c("Modelo A", "Modelo B", "Sin discriminación"),
    each = length(fpr)
  )
)

ggplot(curvas, aes(x = FPR, y = TPR, linetype = Modelo)) +
  geom_line(linewidth = 1) +
  coord_equal(
    xlim = c(0, 1),
    ylim = c(0, 1)
  ) +
  labs(
    x = "Tasa de falsos positivos (FPR)",
    y = "Sensibilidad (TPR)",
    linetype = NULL
  ) +
  theme_minimal(base_size = 14) +
  theme(
    legend.position = "bottom"
  )

Cuando una curva domina a otra, el modelo consigue una sensibilidad mayor para una misma tasa de falsos positivos.

Si las curvas se cruzan, la elección puede depender de la región operativa relevante para el problema.

¿Es 0.5 el punto de corte natural?

No necesariamente.

El valor:

\[ c=0.5 \]

puede ser una regla inicial cuando la salida tiene una interpretación probabilística apropiada y las condiciones de decisión lo justifican.

Pero el umbral puede cambiar cuando:

• FP y FN tienen consecuencias diferentes;
• cambia la prevalencia de la población objetivo;
• se exige una sensibilidad o especificidad mínima;
• existe una capacidad limitada para actuar sobre las predicciones.

Un score ni siquiera necesita ser una probabilidad, por lo que un punto de corte de 0.5 puede carecer completamente de significado (Smits, 2010; Whitney et al., 2022).

Índice de Youden

Una forma clásica de resumir el equilibrio entre sensibilidad y especificidad es:

\[ J = \text{Sensibilidad} + \text{Especificidad} -1. \]

Equivalentemente:

\[ J = TPR-FPR. \]

El punto que maximiza \(J\) produce la mayor separación vertical respecto de la diagonal de referencia de la curva ROC.

Maximizar \(J\) puede ser apropiado cuando se desea dar el mismo peso a las tasas condicionales de error de ambas clases, pero no determina un umbral universalmente óptimo (Smits, 2010).

¿Existe un punto de corte óptimo?

No existe un punto de corte universalmente óptimo.

Criterios como:

• maximizar el índice de Youden;
• minimizar la distancia a \((0,1)\);
• buscar visualmente el “codo” de la curva;

pueden producir puntos de corte diferentes (Zou et al., 2013).

En particular, el punto más cercano a \((0,1)\) optimiza un criterio geométrico específico, no necesariamente las consecuencias reales de FP y FN.

El umbral debería seleccionarse según el objetivo de decisión: costos, beneficios, prevalencia objetivo o restricciones operativas.

Área bajo la curva ROC: AUC

El ROC AUC resume la capacidad de discriminación del score a través de todos los puntos de corte.

Una interpretación particularmente útil es:

AUC es la probabilidad de que una observación positiva seleccionada al azar reciba un score mayor que una observación negativa seleccionada al azar.

Con empates, la interpretación habitual asigna medio crédito:

\[ AUC = P(S_+>S_-) + \frac{1}{2}P(S_+=S_-). \]

(Carrington et al., 2020; Richardson et al., 2024)

Por tanto:

• \(AUC=1\): ordenamiento perfecto;
• \(AUC=0.5\): discriminación equivalente al azar;
• \(AUC<0.5\): el ordenamiento está predominantemente invertido.

¿Qué significa que AUC sea independiente del umbral?

AUC no requiere seleccionar un único punto de corte.

Sin embargo, la curva ROC se construye precisamente recorriendo los distintos puntos de corte.

Por ello, es más preciso afirmar:

AUC resume la discriminación a través de los umbrales, en lugar de evaluar el desempeño en un único umbral (Richardson et al., 2024).

Además, cualquier transformación estrictamente creciente del score conserva el orden de las observaciones y, por tanto, conserva ROC y AUC.

Esto muestra que AUC evalúa ranking, no la calidad numérica de las probabilidades.

Limitaciones de ROC AUC

Un único valor de AUC puede ocultar diferencias importantes.

Dos modelos pueden tener:

\[ AUC_A\approx AUC_B \]

y, sin embargo, presentar sensibilidades muy diferentes en la región de FPR que realmente interesa para una aplicación.

También pueden existir curvas ROC que se cruzan.

Por ello:

No conviene interpretar AUC mediante umbrales universales como “0.7 aceptable”, “0.8 bueno” o “0.9 excelente” sin considerar el problema y la región operativa relevante (Carrington et al., 2020).

El AUC debe acompañarse de la curva y, cuando exista una decisión concreta, del desempeño en el punto de corte utilizado.

ROC y desbalance de clases

Sensibilidad y FPR están condicionadas a la clase observada.

Por ello, si únicamente cambia la prevalencia de las clases mientras se mantienen las distribuciones condicionales de los scores:

\[ TPR,\quad FPR,\quad ROC,\quad AUC \]

no cambian (Richardson et al., 2024).

Pero esto no significa que el efecto operativo sea el mismo.

Con una clase positiva muy rara, incluso un FPR pequeño puede producir muchos falsos positivos en relación con los verdaderos positivos.

ROC AUC puede seguir midiendo correctamente discriminación y, al mismo tiempo, resultar insuficiente para describir el rendimiento de las alertas positivas.

Ejemplo: construcción de la curva Precision–Recall

Con el mismo ejemplo:

Cada punto representa:

\[ (\text{Recall},\text{Precisión}). \]

Utilizamos exactamente los mismos puntos de corte que generaron la curva ROC.

Ejemplo: curva Precision–Recall

library(ggplot2)

pr_ej <- data.frame(
  Recall = c(1/3, 1/3, 2/3, 2/3, 1, 1),
  Precision = c(1, 0.5, 2/3, 0.5, 0.6, 0.5)
)

ggplot(pr_ej, aes(x = Recall, y = Precision)) +
  geom_step(direction = "vh", linewidth = 1) +
  geom_point(size = 3) +
  geom_hline(
    yintercept = 0.5,
    linetype = "dashed"
  ) +
  coord_cartesian(
    xlim = c(0, 1),
    ylim = c(0, 1)
  ) +
  labs(
    x = "Recall",
    y = "Precisión"
  ) +
  theme_minimal(base_size = 14)

En este ejemplo:

\[ \pi=\frac{3}{6}=0.50. \]

La línea horizontal punteada corresponde a la prevalencia de la clase positiva.

¿Cómo se interpreta una curva Precision–Recall?

Cada punto responde simultáneamente a dos preguntas:

Eje horizontal: Recall

\[ \text{Recall}=\frac{TP}{TP+FN} \]

¿Qué proporción de todos los positivos reales estamos detectando?

Eje vertical: Precisión

\[ \text{Precisión}=\frac{TP}{TP+FP} \]

De todos los casos que clasificamos como positivos, ¿qué proporción realmente es positiva?

Por tanto, buscamos simultáneamente:

\[ \text{Recall alto} \qquad\text{y}\qquad \text{Precisión alta}. \]

En una curva PR, una posición hacia la zona superior derecha representa una combinación más favorable de recall y precisión (Saito & Rehmsmeier, 2015).

¿Cómo comparar puntos de una curva PR?

Supongamos dos puntos posibles:

\[ A=(0.50,\;0.90) \]

\[ B=(0.80,\;0.60). \]

Punto A

Detectamos el 50 % de los positivos, pero el 90 % de las predicciones positivas son correctas.

Punto B

Detectamos el 80 % de los positivos, pero solo el 60 % de las predicciones positivas son correctas.

No existe una elección universalmente mejor:

• \(A\) prioriza precisión;
• \(B\) prioriza recall.

La curva muestra las diferentes combinaciones disponibles al modificar el punto de corte.

¿Qué ocurre cuando disminuye el umbral?

Al disminuir el umbral se clasifican más observaciones como positivas.

Por ello, generalmente:

\[ \downarrow c \quad\Rightarrow\quad \uparrow \text{Recall}. \]

Sin embargo, al incorporar más observaciones también pueden incorporarse falsos positivos.

Por eso la precisión:

\[ \text{Precisión}=\frac{TP}{TP+FP} \]

puede disminuir.

A diferencia del recall, la precisión no tiene por qué cambiar monótonamente al recorrer los umbrales.

La curva PR representa precisamente este compromiso entre:

\[ \text{detectar más positivos} \quad\text{vs.}\quad \text{mantener alta la calidad de las alertas positivas}. \]

(Keilwagen et al., 2014; Saito & Rehmsmeier, 2015)

¿Cómo comparar dos curvas PR?

Para un mismo nivel de recall, preferimos una mayor precisión.

Por ejemplo:

\[ \text{Recall}=0.80 \]

Si:

\[ P_A=0.85 \qquad\text{y}\qquad P_B=0.60, \]

el modelo A identifica la misma proporción de positivos reales, pero genera una proporción menor de falsos positivos entre sus alertas.

De forma equivalente, para una misma precisión, es preferible el modelo que consigue mayor recall.

Una curva que se mantiene por encima de otra ofrece mejores combinaciones precisión–recall en esas regiones.

La referencia de una curva PR

Aquí aparece una diferencia fundamental respecto de ROC.

Para un ranking sin información, la precisión esperada corresponde a la prevalencia de la clase positiva:

\[ \text{Baseline}_{PR} = \pi=P(Y=1). \]

Por ejemplo, si:

\[ \pi=0.05, \]

solo el 5 % de la población pertenece a la clase positiva.

Una selección sin capacidad discriminativa produciría entonces aproximadamente:

\[ \text{Precisión}=0.05. \]

La línea de referencia de PR no es siempre 0.5: depende de la prevalencia de la clase positiva (Richardson et al., 2024; Saito & Rehmsmeier, 2015).

¿Por qué importa esto cuando los positivos son poco frecuentes?

Supongamos:

\[ N=10\,000, \qquad \pi=0.01, \]

por lo que existen 100 positivos y 9 900 negativos.

Un clasificador alcanza:

\[ TPR=0.80, \qquad FPR=0.05. \]

Cuando la clase positiva es muy rara, incluso una FPR pequeña puede generar muchos falsos positivos en relación con los verdaderos positivos (Ozenne et al., 2015; Saito & Rehmsmeier, 2015).

ROC y PR ante diferentes prevalencias

Supongamos que el modelo conserva exactamente la misma discriminación, pero se utiliza en dos poblaciones:

\[ \pi_1=0.50 \qquad\text{y}\qquad \pi_2=0.05. \]

Si las distribuciones del score condicionadas a cada clase permanecen iguales:

ROC

\[ TPR,\quad FPR,\quad ROC,\quad AUC \]

pueden permanecer iguales.

Precision–Recall

La precisión sí cambia porque:

\[ \text{Precisión} = \frac{\pi\,TPR} {\pi\,TPR+(1-\pi)FPR}. \]

Por tanto, la curva PR también cambia.

ROC caracteriza la discriminación entre las clases; PR incorpora además la frecuencia con la que aparece la clase positiva en la población (Richardson et al., 2024).

Entonces, ¿qué información añade PR?

La curva ROC responde principalmente:

Para cada FPR, ¿qué TPR puede alcanzar el modelo?

La curva PR responde:

Para cada nivel de recall, ¿qué precisión tienen las predicciones positivas?

Por ello, PR resulta especialmente informativa cuando interesa saber:

• cuántos positivos podemos recuperar;
• cuántas alertas tendremos que revisar;
• qué proporción de esas alertas será realmente positiva.

ROC y PR son complementarias: no existe una regla general según la cual una deba sustituir siempre a la otra (Richardson et al., 2024; Saito & Rehmsmeier, 2015).

Resumir una curva Precision–Recall

Una vez que entendemos la curva, podemos preguntarnos:

¿Podemos resumir todas las combinaciones de precisión y recall mediante un solo valor?

Dos medidas frecuentes son:

• PR-AUC o AUPRC: área bajo la curva Precision–Recall;
• Average Precision (AP): resumen que pondera la precisión alcanzada por los incrementos de recall.

En ambos casos, valores mayores indican que el modelo consigue mantener una precisión elevada mientras recupera una mayor proporción de positivos.

A diferencia de ROC AUC, estas medidas incorporan la precisión y, por tanto, dependen de la prevalencia de la clase positiva (Richardson et al., 2024; Saito & Rehmsmeier, 2015).

PR-AUC y Average Precision

Aunque están estrechamente relacionadas, PR-AUC y AP no son necesariamente la misma medida.

PR-AUC / AUPRC

Resume el área bajo la curva PR. En datos empíricos, su valor depende de la regla utilizada para interpolar entre los puntos observados.

Average Precision

Utiliza la expresión:

\[ AP = \sum_i (R_i-R_{i-1})P_i, \]

donde \(R_i\) es recall y \(P_i\) es precisión.

AP pondera la precisión por los incrementos alcanzados en recall.

Distintas reglas de interpolación pueden producir valores diferentes para los mismos puntos PR. Por ello, AP y PR-AUC no deben tratarse automáticamente como sinónimos (Boyd et al., 2013; Keilwagen et al., 2014).

ROC AUC, PR-AUC y AP: ¿qué resume cada uno?

Una diferencia importante es que:

• ROC AUC no cambia ante un cambio puro de prevalencia;
• PR-AUC y AP sí pueden cambiar, porque la precisión depende de la prevalencia positiva.

Por ello, PR-AUC y AP son especialmente informativas cuando interesa el desempeño de las predicciones positivas, pero no sustituyen automáticamente a ROC AUC (Richardson et al., 2024; Saito & Rehmsmeier, 2015).

Discriminación: ¿qué conviene reportar?

ROC AUC, PR-AUC y AP evalúan discriminación/ranking desde perspectivas diferentes. Ninguna de estas medidas indica si las probabilidades predichas están correctamente calibradas.

Índice de Gini

En algunas áres de aplicación, por ejemplo en credit scoring, el índice de Gini se utiliza como una medida de discriminación del score y está directamente relacionado con ROC AUC (Kochański, 2022).

\[ Gini=2\,AUC-1. \]

La transformación cambia la escala:

\[ AUC=0.5 \Rightarrow Gini=0 \qquad AUC=1 \Rightarrow Gini=1. \]

Por ejemplo:

\[ AUC=0.80 \quad\Rightarrow\quad Gini=0.60. \]

Un Gini de 0.60 significa que el modelo ha recorrido el 60 % del camino entre ausencia de discriminación y discriminación perfecta.

Gini y AUC contienen la misma información de ordenamiento, expresada en escalas diferentes.

Estadística KS

KS mide la máxima separación entre las distribuciones del score de ambas clases (Fang & Chen, 2019).

\[ KS=\max_c\left[TPR(c)-FPR(c)\right]. \]

Por ejemplo:

\[ TPR=0.75, \qquad FPR=0.25 \quad\Rightarrow\quad KS=0.50. \]

El score alcanza una separación máxima de 50 puntos porcentuales entre ambas clases.

Además:

\[ KS=\max_c J(c), \]

por lo que coincide con el máximo índice de Youden (Rodríguez-Álvarez & Inácio, 2021).

De la discriminación a la calidad de las probabilidades

Hasta ahora evaluamos qué tan bien el modelo ordena o separa positivos y negativos.

Pero una buena discriminación no garantiza que las probabilidades predichas sean numéricamente confiables.

Por ejemplo, dos modelos pueden ordenar los casos de la misma manera y obtener el mismo ROC AUC, pero asignar probabilidades muy diferentes.

La siguiente pregunta es distinta:

¿Las probabilidades predichas corresponden aproximadamente con las frecuencias observadas del evento?

(Dimitriadis et al., 2024; vancalster2019?)

¿Qué significa que una probabilidad esté calibrada?

Supongamos que un modelo asigna:

\[ \widehat P(Y=1)=0.70 \]

a un conjunto de observaciones con características similares.

Si las probabilidades están bien calibradas, esperamos que aproximadamente:

\[ 70\% \]

de esas observaciones presenten realmente el evento.

Así:

\[ \widehat p \approx 0.20 \quad\Rightarrow\quad \text{frecuencia observada}\approx 20\% \]

\[ \widehat p \approx 0.70 \quad\Rightarrow\quad \text{frecuencia observada}\approx 70\%. \]

La calibración compara el valor numérico pronosticado con la frecuencia con la que realmente ocurre el evento (vancalster2019?).

¿Cómo se lee una gráfica de calibración?

La gráfica compara:

\[ \text{Probabilidad predicha} \quad\text{vs.}\quad \text{Frecuencia observada}. \]

La referencia de calibración perfecta es:

\[ y=x. \]

La gráfica permite identificar en qué rangos de probabilidad aparecen problemas de calibración (dimitriadis2021?).

Discriminación y calibración no son lo mismo

Considere dos conjuntos de probabilidades:

\[ 0.10,\quad 0.20,\quad 0.70,\quad 0.90 \]

y

\[ 0.01,\quad 0.04,\quad 0.49,\quad 0.81. \]

El orden de las observaciones es exactamente el mismo.

Por tanto, pueden conservar:

\[ \text{ROC} \qquad\text{y}\qquad \text{AUC}, \]

pero sus valores probabilísticos son muy distintos.

Una transformación estrictamente creciente puede conservar completamente el ranking y, al mismo tiempo, modificar la calibración (Dimitriadis et al., 2024).

Brier score

El Brier score mide el error cuadrático de las probabilidades:

\[ BS= \frac{1}{N} \sum_{i=1}^{N} (\hat p_i-y_i)^2, \qquad y_i\in\{0,1\}. \]

Por ejemplo, si el evento ocurre \((y_i=1)\):

\[ \hat p_i=0.90 \quad\Rightarrow\quad (0.90-1)^2=0.01 \]

mientras que:

\[ \hat p_i=0.20 \quad\Rightarrow\quad (0.20-1)^2=0.64. \]

\[ \boxed{\text{Menor Brier} \Rightarrow \text{mejor desempeño probabilístico}} \]

Brier evalúa la calidad probabilística global; no es una medida exclusiva de calibración (Dimitriadis et al., 2024; kullflach2015?).

Log loss

La log loss para clasificación binaria es:

\[ \text{Log loss} = -\frac{1}{N} \sum_{i=1}^{N} \left[ y_i\log(\hat p_i) + (1-y_i)\log(1-\hat p_i) \right]. \]

Si el evento realmente ocurre \((y_i=1)\):

\[ \boxed{\text{Menor log loss} \Rightarrow \text{mejor desempeño probabilístico}} \]

Log loss penaliza especialmente las predicciones muy seguras que resultan incorrectas (kullflach2015?).

Brier y log loss

Una regla de puntuación es estrictamente propia cuando, en promedio, la pérdida esperada se minimiza reportando la probabilidad verdadera del evento.

Brier y log loss favorecen probabilidades probabilísticamente honestas, pero ninguna de ellas permite localizar por sí sola dónde existe una mala calibración (kullflach2015?).

¿Con qué comparar Brier y log loss?

Un valor aislado de Brier o log loss puede ser difícil de interpretar.

Una referencia sencilla consiste en asignar a todos los casos una misma probabilidad:

\[ \hat p_i=\pi, \]

donde \(\pi\) representa la prevalencia del evento.

Este modelo:

• no distingue entre observaciones;
• asigna a todas el mismo riesgo;
• sirve como referencia probabilística.

Un modelo útil debería compararse con una referencia evaluada sobre los mismos datos, en lugar de interpretar Brier o log loss mediante puntos de corte universales (Dimitriadis et al., 2024).

ECE: un resumen de calibración con cautela

El Expected Calibration Error (ECE) agrupa las probabilidades y compara, dentro de cada grupo:

\[ \text{probabilidad media} \quad\text{vs.}\quad \text{frecuencia observada}. \]

Una forma habitual es:

\[ ECE= \sum_{b=1}^{B} \frac{n_b}{N} \left| \text{obs}_b-\text{pred}_b \right|. \]

Valores menores indican menor discrepancia promedio.

Sin embargo, el resultado puede cambiar con:

• el número y límites de los grupos;
• el tamaño de la muestra;
• la cantidad de observaciones en cada región de probabilidad.

ECE puede complementar la evaluación, pero no debería sustituir a la gráfica de calibración (roelofs2022?).

Buena calibración no implica buena discriminación

Dos situaciones diferentes pueden ocurrir:

Por ejemplo, un modelo que asigna a todos:

\[ \hat p_i=\pi \]

puede estar bien calibrado en promedio, pero no distingue entre individuos.

En cambio, otro modelo puede ordenar correctamente los casos y obtener un AUC alto, pero asignar probabilidades sistemáticamente demasiado extremas.

Discriminación y calibración son propiedades complementarias.