Si oyes "este modelo tiene un 99 % de precisión" y concluyes que es un buen modelo, MLA-C01 te hará caer en una trampa. La tarea 2.3 de la guía del examen cubre métricas de evaluación como la matriz de confusión, los mapas de calor, F1, exactitud, precisión, exhaustividad, RMSE, ROC y AUC, además de crear líneas base de rendimiento e identificar el sobreajuste, y la tarea 1.3 pregunta por métricas de sesgo previas al entrenamiento como el desequilibrio de clases (CI) y la diferencia en proporciones de etiquetas (DPL), por estrategias contra el desequilibrio como los datos sintéticos y el remuestreo, y por la división y mezcla del conjunto de datos. En nuestro banco de preguntas aparecen una y otra vez situaciones desequilibradas como "datos en los que solo el 0,5 % de las transacciones son fraude".
Este artículo empieza por la matriz de confusión y luego cubre la elección de métricas de clasificación, el ajuste del umbral, las métricas de regresión, los modelos de línea base, el manejo del desequilibrio de clases y las métricas de sesgo de SageMaker Clarify. El diagnóstico del sobreajuste y la regularización se trataron antes en Fundamentos de ML para Ingenieros de la Nube.
---
Empieza por la Matriz de Confusión: Qué Significan las Cuatro Celdas
Piensa en una alarma de incendios. Si suena cuando hay fuego, lo detectó; si suena sin fuego, es una falsa alarma; y si calla durante un incendio, es el fallo más peligroso. Todas las métricas de un modelo de clasificación salen de estos cuatro casos.
| Aspecto | Realmente positivo (hay fuego) | Realmente negativo (no hay fuego) | |------|------|------| | Predicho positivo (suena la alarma) | TP verdadero positivo | FP falso positivo (falsa alarma) | | Predicho negativo (no suena) | FN falso negativo (fallo) | TN verdadero negativo |
Saber qué sale más caro, FP o FN, es el punto de partida para elegir una métrica. En algunas situaciones enviar un correo legítimo a spam (FP) es costoso, y en otras lo costoso es pasar por alto un fraude real (FN).
!Cómo se calculan la precisión, la exhaustividad, la exactitud y F1 a partir de las cuatro celdas de la matriz de confusión: TP, FP, FN y TN
---
Métricas de Clasificación: Elige Según la Situación
| Métrica | Cálculo | Significado | Cuándo importa | |------|------|------|------| | Exactitud (accuracy) | (TP + TN) ÷ total | Proporción de aciertos sobre el total | Solo tiene sentido con clases equilibradas | | Precisión | TP ÷ (TP + FP) | De lo predicho como positivo, cuánto es positivo de verdad | Cuando el FP es costoso (filtros de spam, elegir destinatarios de marketing) | | Exhaustividad (recall, sensibilidad) | TP ÷ (TP + FN) | De los positivos reales, cuántos se encuentran | Cuando el FN es costoso (diagnóstico de cáncer, detección de fraude) | | Especificidad | TN ÷ (TN + FP) | Proporción de negativos reales predichos como negativos | Cuando importa dejar tranquilos los casos normales | | Puntuación F1 | Media armónica de precisión y exhaustividad | El equilibrio entre ambas | Cuando ambas importan con datos desequilibrados | | ROC AUC | Área bajo la curva de la tasa de verdaderos positivos frente a la de falsos positivos en todos los umbrales | 0,5 es azar, cuanto más cerca de 1 mejor | Comparar modelos sin depender del umbral | | PR AUC | Área bajo la curva de precisión-exhaustividad | Muestra mejor las diferencias que ROC cuando los positivos son muy raros | Desequilibrio extremo |
Con números, la trampa de la exactitud salta a la vista. Si 10 de 1.000 transacciones son fraude y el modelo responde "legítima" a todas, la exactitud es del 99 % pero la exhaustividad es del 0 %. El modelo no atrapó ni un solo fraude.
Consejo: "No se puede pasar por alto ni un caso de una enfermedad rara" es exhaustividad, "bloquear transacciones legítimas como fraude genera muchas quejas" es precisión, "ambas importan con datos desequilibrados" es F1, y "comparar varios modelos sin depender del umbral" es AUC.
---
Ajustar el Umbral: Mismo Modelo, Resultados Distintos
La mayoría de los modelos de clasificación devuelven una probabilidad y predicen positivo cuando supera un umbral (normalmente 0,5). Cambiar el umbral cambia los resultados sin reentrenar.
| Umbral | Exhaustividad | Precisión | Cuándo usarlo | |------|------|------|------| | Más bajo (por ejemplo, 0,5 → 0,3) | Sube | Baja | Detección de fraude o enfermedades donde no se admiten fallos | | Más alto (por ejemplo, 0,5 → 0,8) | Baja | Sube | Bloqueo automático donde hay que reducir las falsas alarmas |
La curva ROC se dibuja moviendo el umbral de 0 a 1, así que cada punto de la curva es un umbral.
Evaluar Modelos Multiclase
Con tres clases o más, se calculan la precisión y la exhaustividad por clase y luego se promedian. El promedio macro da a cada clase el mismo peso, de modo que las clases pequeñas cuentan igual, mientras que el promedio ponderado pesa cada clase según su número de muestras. Un mapa de calor que colorea la matriz de confusión muestra de un vistazo qué clases se confunden entre sí.
Consejo: "Atrapar más fraude sin reentrenar el modelo" se resuelve bajando el umbral.
---
Métricas de Regresión
Los modelos de regresión, que predicen números, se evalúan por el tamaño de sus errores.
| Métrica | Significado | Características | |------|------|------| | RMSE | Raíz cuadrada de la media de los errores al cuadrado | Penaliza más los errores grandes; úsala cuando hay que evitarlos especialmente | | MAE | Media de los errores absolutos | Menos sensible a los valores atípicos, fácil de interpretar ("cuántos euros se equivoca de media") | | MAPE | Error medio como porcentaje del valor real | Compara predicciones en unidades distintas; inestable con valores reales cercanos a 0 | | R² | Proporción de la varianza que explica el modelo | Cuanto más cerca de 1, mejor |
Consejo: "Un error grande ocasional es especialmente dañino" es RMSE, y "hay muchos valores atípicos y queremos una visión estable del error medio" es MAE.
---
Modelos de Línea Base y Comparación en Sombra
Para juzgar si un modelo complejo es bueno hace falta algo con qué compararlo. La línea base es el rendimiento del enfoque más simple posible.
Clasificación: un modelo que siempre predice la clase mayoritaria, o un modelo simple como la regresión logística o Linear Learner Regresión: un modelo que siempre predice la media, o una regresión lineal Datos tabulares: XGBoost con la configuración predeterminada como línea base exigente
La línea base de rendimiento del modelo no es la misma que la que Model Monitor crea a partir de los datos de entrenamiento (estadísticas y restricciones). La primera responde "¿este modelo sirve?" y la segunda "¿los datos de producción se alejaron de los de entrenamiento?".
Si un modelo nuevo también es mejor con tráfico real se comprueba con pruebas en sombra. Las mismas solicitudes que recibe la variante de producción se envían también al modelo nuevo (la variante en sombra), pero los usuarios solo reciben las respuestas del modelo de producción mientras se comparan las métricas de ambos.
Consejo: "Evaluar un modelo nuevo con tráfico real sin afectar a los usuarios" es una prueba en sombra. "Enviar de verdad parte del tráfico al modelo nuevo y comparar resultados" es una prueba A/B (pesos de variantes de producción).
---
Manejar el Desequilibrio de Clases
| Técnica | Cómo funciona | Qué vigilar | |------|------|------| | División estratificada | Mantiene la misma proporción de clases en entrenamiento, validación y prueba | Lo básico al dividir datos desequilibrados | | Sobremuestreo | Duplica muestras de la clase minoritaria | Riesgo de sobreajuste por muestras repetidas | | SMOTE | Crea muestras sintéticas nuevas entre muestras de la clase minoritaria | Aplicar solo a los datos de entrenamiento, nunca a validación ni prueba | | Submuestreo | Reduce las muestras de la clase mayoritaria | Pérdida de información | | Pesos de clase | Penaliza más los errores en la clase minoritaria | Los datos no cambian; en XGBoost, scale_pos_weight = número de negativos ÷ número de positivos | | Aumento y datos sintéticos | Rotar imágenes, parafrasear frases, generar muestras con modelos generativos | Eficaz con datos de imagen y texto | | Cambiar la métrica | Exhaustividad, F1 o PR AUC en lugar de exactitud | La exactitud engaña con desequilibrio |
SageMaker Data Wrangler tiene una transformación de equilibrado que iguala los datos con sobremuestreo aleatorio, submuestreo aleatorio o SMOTE. El orden también importa. Primero divide los datos y aplica el remuestreo solo al conjunto de entrenamiento. Si aplicas SMOTE antes de dividir, las muestras sintéticas se filtran al conjunto de validación y el rendimiento parece mejor de lo que es.
Consejo: Las respuestas candidatas para "el fraude es el 0,5 % de las transacciones y el modelo casi no lo detecta" son SMOTE, los pesos de clase (scale_pos_weight) y evaluar con exhaustividad y F1. "La exactitud es del 99 %, así que se despliega" es incorrecta.
---
Medir el Sesgo en Datos y Modelos: Métricas de Clarify
El desequilibrio de clases trata de la proporción de etiquetas (respuestas), mientras que el sesgo trata de que un grupo concreto (una faceta como el género o la franja de edad) reciba un trato desfavorable. SageMaker Clarify calcula métricas de sesgo antes y después del entrenamiento.
| Cuándo | Métrica típica | Significado | |------|------|------| | Antes de entrenar (datos) | CI, desequilibrio de clases | Diferencia en el número de muestras entre grupos (por ejemplo, la mayoría de los datos son de personas de mediana edad) | | Antes de entrenar (datos) | DPL, diferencia en proporciones de etiquetas | Diferencia en la proporción de etiquetas positivas entre grupos (por ejemplo, la tasa de aprobación de préstamos varía por grupo) | | Después de entrenar (predicciones) | DPPL, diferencia en proporciones positivas de las etiquetas predichas | Diferencia en la fr