Muchas personas que preparan MLA-C01 vienen de infraestructura, backend o ingeniería de datos y nunca han estudiado ML a fondo. Sin embargo, la tarea 2.2 de la guía del examen nombra directamente estos conceptos: los elementos del proceso de entrenamiento como épocas, pasos y tamaño de lote; la parada temprana; el dropout, el weight decay y la regularización L1 y L2; la búsqueda aleatoria y la optimización bayesiana; el efecto de hiperparámetros como el número de árboles o de capas; evitar el sobreajuste, el subajuste y el olvido catastrófico; los ensambles y el stacking; y reducir el tamaño del modelo. En nuestro banco de preguntas, unas 28 preguntas tienen estos conceptos como núcleo.
Este artículo los explica con analogías y tablas en lugar de fórmulas. Empieza por cómo avanza el entrenamiento y sigue con los hiperparámetros, el diagnóstico del sobreajuste y la regularización, las estrategias de ajuste, los ensambles, el olvido catastrófico en modelos preentrenados y la reducción del tamaño del modelo. Cómo aplicar estos conceptos a los trabajos de entrenamiento, al entrenamiento distribuido y al entrenamiento con Spot de SageMaker se trata en Entrenamiento, Ajuste y Evaluación de Modelos.
---
Cómo Avanza el Entrenamiento: Épocas, Lotes, Pasos y Tasa de Aprendizaje
Imagina que preparas un examen con un solo cuaderno de ejercicios. Resuelves unos cuantos problemas, corriges las respuestas, arreglas lo que salió mal y, cuando terminas el cuaderno, vuelves a empezar. Entrenar un modelo tiene la misma estructura.
| Término | Significado | Analogía del cuaderno | |------|------|------| | Tamaño de lote | Número de muestras vistas antes de actualizar los pesos una vez | Problemas que resuelves antes de corregir | | Paso (iteración) | Ver un lote y actualizar los pesos una vez | Una ronda de corregir y arreglar | | Época | Ver una vez todo el conjunto de entrenamiento | Una vuelta completa al cuaderno | | Tasa de aprendizaje | Lo grande que es cada actualización | Cuánto cambias tu enfoque tras un error |
Por ejemplo, entrenar con 10.000 muestras y un tamaño de lote de 100 da 100 pasos por época, y 10 épocas son 1.000 pasos.
| Situación | Qué ocurre | Respuesta | |------|------|------| | Tasa de aprendizaje demasiado alta | La pérdida salta o incluso crece (no converge) | Bajar la tasa de aprendizaje | | Tasa de aprendizaje demasiado baja | La pérdida baja muy despacio y el entrenamiento tarda mucho | Subir la tasa de aprendizaje o usar un programa de tasa de aprendizaje | | Se aumenta mucho el tamaño de lote | Mejoran el rendimiento por paso y el uso de la GPU, pero con la misma tasa de aprendizaje la precisión puede bajar | Aumentar la tasa de aprendizaje en proporción al tamaño de lote (escalado lineal) | | Demasiadas épocas | El modelo se ajusta en exceso a los datos de entrenamiento | Parada temprana |
Consejo: "La pérdida oscila mucho y no baja" se resuelve bajando la tasa de aprendizaje. "Se multiplicó por ocho el tamaño de lote total para el entrenamiento distribuido y bajó la precisión" se resuelve subiendo también la tasa de aprendizaje.
---
Parámetros e Hiperparámetros
Los parámetros son valores que el modelo encuentra por sí mismo durante el entrenamiento (los pesos de una red neuronal, los puntos de corte de un árbol), y los hiperparámetros son valores que una persona fija antes de entrenar (tasa de aprendizaje, tamaño de lote, épocas, número de árboles). El examen pregunta cómo cambia el modelo al modificar un hiperparámetro.
| Modelo | Hiperparámetro | Al aumentar el valor | |------|------|------| | Modelo de árboles (XGBoost) | Número de árboles (num_round) | Más complejidad y entrenamiento más largo | | Modelo de árboles (XGBoost) | Profundidad del árbol (max_depth) | Divisiones más finas, pero más riesgo de sobreajuste | | Modelo de árboles (XGBoost) | Tasa de aprendizaje (eta) | Cada árbol influye más, así que ajusta antes pero con riesgo de sobreajuste | | Modelo de árboles (XGBoost) | subsample, colsample_bytree | Bajarlos por debajo de 1 añade aleatoriedad y reduce el sobreajuste | | Modelo de árboles (XGBoost) | min_child_weight, gamma, alpha, lambda | Divisiones más conservadoras, menos sobreajuste | | Red neuronal | Número de capas y neuronas | Más capacidad expresiva y tamaño, riesgo de sobreajuste | | Red neuronal | Tasa de dropout | Menos sobreajuste; demasiado alta provoca subajuste |
Consejo: Si "XGBoost es preciso con los datos de entrenamiento pero malo con los de validación", las respuestas candidatas son bajar max_depth y eta, bajar subsample y subir min_child_weight, gamma, alpha y lambda.
---
Diagnosticar el Sobreajuste y el Subajuste
Un estudiante que memorizó las respuestas de exámenes anteriores acierta todas las preguntas repetidas pero falla las nuevas (sobreajuste). Un estudiante que apenas estudió falla tanto las viejas como las nuevas (subajuste). El diagnóstico consiste en poner el error en los datos de entrenamiento junto al error en los datos de validación.
!Curvas de pérdida de entrenamiento y validación que muestran subajuste, buen ajuste y sobreajuste
| Estado | Error de entrenamiento | Error de validación | Cómo corregirlo | |------|------|------|------| | Subajuste (alto sesgo) | Alto | Alto | Modelo más complejo, más características, entrenar más, relajar la regularización | | Buen ajuste | Bajo | Bajo y parecido al de entrenamiento | Mantenerlo | | Sobreajuste (alta varianza) | Bajo | Alto (gran diferencia) | Más datos o aumento de datos, más regularización, dropout, selección de características, parada temprana, modelo más simple |
SageMaker Debugger observa la pérdida y los tensores durante el entrenamiento, detecta problemas con reglas integradas como overfit, overtraining, loss_not_decreasing, vanishing_gradient y exploding_tensor, y puede detener el trabajo de entrenamiento automáticamente cuando se cumple una condición. Debugger no acepta clientes nuevos desde el 30 de julio de 2026, y AWS propone como alternativa la combinación de SageMaker AI MLflow, TensorBoard y CloudWatch. En MLA-C01 sigue siendo la respuesta para depurar problemas de convergencia.
Consejo: "99 % de precisión en entrenamiento y 70 % en validación" es sobreajuste, y "60 % en ambos" es subajuste. Una opción que añade más regularización a un modelo con subajuste es incorrecta.
---
Evitar el Sobreajuste: Regularización y Otros Métodos
| Técnica | Cómo funciona | Características | |------|------|------| | Regularización L1 (Lasso) | Penaliza la suma de los valores absolutos de los pesos | Lleva algunos pesos exactamente a 0, lo que actúa como selección de características | | Regularización L2 (Ridge, weight decay) | Penaliza la suma de los pesos al cuadrado | Mantiene pequeños todos los pesos sin llevarlos a 0 | | Dropout | Apaga al azar algunas neuronas durante el entrenamiento | Evita que la red dependa de neuronas concretas | | Parada temprana | Detiene el entrenamiento cuando el rendimiento de validación deja de mejorar | Evita el sobreajuste y ahorra tiempo a la vez | | Aumento de datos | Amplía los datos rotando o volteando imágenes y parafraseando frases | Eficaz cuando hay pocos datos | | Selección de características | Elimina las características poco importantes | Un modelo más simple y fácil de interpretar |
Consejo: "Filtrar automáticamente las características inútiles entre cientos para simplificar el modelo" es la regularización L1. "Mantener todas las características pero evitar que los pesos crezcan demasiado" es la regularización L2.
---
Estrategias de Ajuste de Hiperparámetros
El ajuste automático de modelos (AMT) de SageMaker ejecuta muchos trabajos de entrenamiento con distintas combinaciones de hiperparámetros y encuentra la mejor.
| Estrategia | Cómo funciona | Cuándo elegirla | |------|------|------| | Búsqueda en cuadrícula | Prueba todas las combinaciones de los valores indicados | Cuando solo hay unos pocos valores categóricos | | Búsqueda aleatoria | Elige combinaciones al azar dentro de los rangos, sin usar resultados anteriores | Cuando quieres ejecutar muchos trabajos en paralelo | | Optimización bayesiana | Usa los resultados anteriores para estimar qué combinación probar después | Cuando necesitas buenos resultados con pocos trabajos | | Hyperband | Detiene pronto los intentos malos y pasa los recursos a los prometedores | Entrenamientos que informan resultados intermedios, como el aprendizaje profundo por épocas |
Activar la parada temprana en Auto en un trabajo de ajuste termina antes los trabajos sin futuro y reduce el costo. El arranque en caliente (warm start) reutiliza los resultados de ajustes anteriores para no buscar desde cero.
Consejo: "Acercarse al óptimo con el menor número de trabajos de entrenamiento" es la optimización bayesiana, "tantos trabajos a la vez como sea posible" es la búsqueda aleatoria, y "acortar el ajuste de aprendizaje profundo descartando rápido las malas combinaciones" es Hyperband.
---
Combinar Varios Modelos: Ensambles
Reunir la opinión de varios expertos suele ser más preciso que fiarse de uno solo. Los ensambles combinan las predicciones de varios modelos.
| Técnica | Cómo funciona | Reduce sobre todo | Ejemplo típico | |------|------|------|------| | Bagging | Entrena varios modelos de forma independiente con muestras aleatorias de los datos y luego promedia o vota | Varianza (sobreajuste) | Bosque aleatorio | | Boosting | Cada modelo, en secuencia, corrige lo que fallaron los anteriores | Sesgo (subajuste) | XGBoost, LightGBM | | Stacking | Un metamodelo recibe las predicciones de modelos distintos y hace la predicción final | Las debilidades de cada modelo | Un metamodelo sobre XGBoost + una red neuronal + un modelo lineal |
Consejo: "Combinar las fortalezas de distintos tipos de modelos (árboles, redes neuronales, lineales) para mejorar la precisión" es stacking. "Encadenar modelos débiles para reducir errores" es boosting.
---