Muitas pessoas que se preparam para o MLA-C01 vêm de infraestrutura, backend ou engenharia de dados e nunca estudaram ML a fundo. Mesmo assim, a tarefa 2.2 do guia do exame cita estes conceitos pelo nome: os elementos do processo de treinamento, como épocas, passos e tamanho do lote; a parada antecipada; dropout, weight decay e regularização L1 e L2; busca aleatória e otimização bayesiana; o efeito de hiperparâmetros como o número de árvores ou de camadas; evitar overfitting, underfitting e esquecimento catastrófico; ensembles e stacking; e reduzir o tamanho do modelo. No nosso banco de questões, cerca de 28 questões têm esses conceitos como núcleo.
Este artigo os explica com analogias e tabelas em vez de fórmulas. Começa pelo andamento do treinamento e segue pelos hiperparâmetros, pelo diagnóstico de overfitting e pela regularização, pelas estratégias de ajuste, pelos ensembles, pelo esquecimento catastrófico em modelos pré-treinados e pela redução do tamanho do modelo. Como aplicar esses conceitos aos trabalhos de treinamento, ao treinamento distribuído e ao treinamento com Spot do SageMaker é tratado em Treinamento, Ajuste e Avaliação de Modelos.
---
Como o Treinamento Avança: Épocas, Lotes, Passos e Taxa de Aprendizado
Imagine que você se prepara para uma prova com uma única apostila. Resolve alguns exercícios, confere as respostas, corrige o que errou e, ao terminar a apostila, recomeça do início. Treinar um modelo tem a mesma estrutura.
| Termo | Significado | Analogia da apostila | |------|------|------| | Tamanho do lote | Número de amostras vistas antes de atualizar os pesos uma vez | Exercícios que você resolve antes de conferir | | Passo (iteração) | Ver um lote e atualizar os pesos uma vez | Uma rodada de conferir e corrigir | | Época | Ver uma vez todo o conjunto de treinamento | Uma volta completa na apostila | | Taxa de aprendizado | O tamanho de cada atualização | O quanto você muda a abordagem depois de um erro |
Por exemplo, treinar com 10.000 amostras e tamanho de lote 100 dá 100 passos por época, e 10 épocas são 1.000 passos.
| Situação | O que acontece | Resposta | |------|------|------| | Taxa de aprendizado alta demais | A perda oscila ou até cresce (não converge) | Diminuir a taxa de aprendizado | | Taxa de aprendizado baixa demais | A perda cai muito devagar e o treinamento demora | Aumentar a taxa de aprendizado ou usar um cronograma de taxa | | Tamanho do lote aumentado muito | Melhoram a vazão por passo e o uso da GPU, mas com a mesma taxa de aprendizado a precisão pode cair | Aumentar a taxa de aprendizado na proporção do lote (escalonamento linear) | | Épocas demais | O modelo se ajusta demais aos dados de treinamento | Parada antecipada |
Dica: "A perda oscila muito e não diminui" se resolve diminuindo a taxa de aprendizado. "O tamanho total do lote foi multiplicado por oito para o treinamento distribuído e a precisão caiu" se resolve aumentando também a taxa de aprendizado.
---
Parâmetros e Hiperparâmetros
Parâmetros são valores que o modelo encontra sozinho durante o treinamento (os pesos de uma rede neural, os pontos de divisão de uma árvore), e hiperparâmetros são valores que uma pessoa define antes de treinar (taxa de aprendizado, tamanho do lote, épocas, número de árvores). O exame pergunta como o modelo muda quando você altera um hiperparâmetro.
| Modelo | Hiperparâmetro | Ao aumentar o valor | |------|------|------| | Modelo de árvores (XGBoost) | Número de árvores (num_round) | Mais complexidade e treinamento mais longo | | Modelo de árvores (XGBoost) | Profundidade da árvore (max_depth) | Divisões mais finas, mas maior risco de overfitting | | Modelo de árvores (XGBoost) | Taxa de aprendizado (eta) | Cada árvore pesa mais, então ajusta mais rápido, mas com risco de overfitting | | Modelo de árvores (XGBoost) | subsample, colsample_bytree | Baixá-los abaixo de 1 traz aleatoriedade e reduz o overfitting | | Modelo de árvores (XGBoost) | min_child_weight, gamma, alpha, lambda | Divisões mais conservadoras, menos overfitting | | Rede neural | Número de camadas e neurônios | Mais capacidade de representação e tamanho, risco de overfitting | | Rede neural | Taxa de dropout | Menos overfitting; alta demais causa underfitting |
Dica: Se "o XGBoost é preciso nos dados de treinamento, mas ruim nos de validação", as respostas candidatas são baixar max_depth e eta, baixar subsample e aumentar min_child_weight, gamma, alpha e lambda.
---
Diagnosticar Overfitting e Underfitting
Um aluno que decorou as respostas das provas anteriores acerta todas as questões repetidas, mas erra as novas (overfitting). Um aluno que quase não estudou erra tanto as antigas quanto as novas (underfitting). O diagnóstico coloca o erro nos dados de treinamento ao lado do erro nos dados de validação.
!Curvas de perda de treinamento e validação mostrando underfitting, bom ajuste e overfitting
| Estado | Erro de treinamento | Erro de validação | Como corrigir | |------|------|------|------| | Underfitting (alto viés) | Alto | Alto | Modelo mais complexo, mais atributos, treinar mais, afrouxar a regularização | | Bom ajuste | Baixo | Baixo e próximo do de treinamento | Manter | | Overfitting (alta variância) | Baixo | Alto (grande diferença) | Mais dados ou aumento de dados, mais regularização, dropout, seleção de atributos, parada antecipada, modelo mais simples |
O SageMaker Debugger observa a perda e os tensores durante o treinamento, detecta problemas com regras integradas como overfit, overtraining, loss_not_decreasing, vanishing_gradient e exploding_tensor, e pode parar o trabalho de treinamento automaticamente quando uma condição é atendida. O Debugger não aceita novos clientes desde 30 de julho de 2026, e a AWS indica como alternativa a combinação de SageMaker AI MLflow, TensorBoard e CloudWatch. No MLA-C01 ele continua sendo a resposta para depurar problemas de convergência.
Dica: "99% de precisão no treinamento e 70% na validação" é overfitting, e "60% nos dois" é underfitting. Uma opção que acrescenta mais regularização a um modelo com underfitting está errada.
---
Evitar o Overfitting: Regularização e Outros Métodos
| Técnica | Como funciona | Características | |------|------|------| | Regularização L1 (Lasso) | Penaliza a soma dos valores absolutos dos pesos | Leva alguns pesos exatamente a 0, o que funciona como seleção de atributos | | Regularização L2 (Ridge, weight decay) | Penaliza a soma dos pesos ao quadrado | Mantém todos os pesos pequenos sem levá-los a 0 | | Dropout | Desliga aleatoriamente alguns neurônios durante o treinamento | Evita que a rede dependa de neurônios específicos | | Parada antecipada | Interrompe o treinamento quando o desempenho de validação para de melhorar | Evita o overfitting e economiza tempo ao mesmo tempo | | Aumento de dados | Amplia os dados girando ou espelhando imagens e reescrevendo frases | Eficaz quando há poucos dados | | Seleção de atributos | Remove atributos pouco importantes | Um modelo mais simples e fácil de interpretar |
Dica: "Filtrar automaticamente os atributos inúteis entre centenas para simplificar o modelo" é a regularização L1. "Manter todos os atributos, mas impedir que os pesos cresçam demais" é a regularização L2.
---
Estratégias de Ajuste de Hiperparâmetros
O ajuste automático de modelos (AMT) do SageMaker executa muitos trabalhos de treinamento com diferentes combinações de hiperparâmetros e encontra a melhor.
| Estratégia | Como funciona | Quando escolher | |------|------|------| | Busca em grade | Testa todas as combinações dos valores informados | Quando há só alguns valores categóricos | | Busca aleatória | Escolhe combinações ao acaso dentro dos intervalos, sem usar resultados anteriores | Quando você quer rodar muitos trabalhos em paralelo | | Otimização bayesiana | Usa os resultados anteriores para estimar qual combinação testar em seguida | Quando precisa de bons resultados com poucos trabalhos | | Hyperband | Interrompe cedo as tentativas ruins e passa os recursos para as promissoras | Treinamentos que informam resultados intermediários, como aprendizado profundo por épocas |
Ativar a parada antecipada em Auto em um trabalho de ajuste encerra cedo os trabalhos sem futuro e reduz o custo. O início a quente (warm start) aproveita resultados de ajustes anteriores para não buscar do zero.
Dica: "Chegar perto do ótimo com o menor número de trabalhos de treinamento" é a otimização bayesiana, "o máximo de trabalhos ao mesmo tempo" é a busca aleatória, e "reduzir o tempo de ajuste de aprendizado profundo descartando rápido as combinações ruins" é o Hyperband.
---
Combinar Vários Modelos: Ensembles
Reunir a opinião de vários especialistas costuma ser mais preciso do que confiar em um só. Os ensembles combinam as previsões de vários modelos.
| Técnica | Como funciona | Reduz principalmente | Exemplo típico | |------|------|------|------| | Bagging | Treina vários modelos de forma independente com amostras aleatórias dos dados e depois tira a média ou faz votação | Variância (overfitting) | Floresta aleatória | | Boosting | Cada modelo, em sequência, corrige o que os anteriores erraram | Viés (underfitting) | XGBoost, LightGBM | | Stacking | Um metamodelo recebe as previsões de modelos diferentes e faz a previsão final | As fraquezas de cada modelo | Um metamodelo sobre XGBoost + uma rede neural + um modelo linear |
Dica: "Combinar os pontos fortes de tipos diferentes de modelo (árvores, redes neurais, lineares) para aumentar a precisão" é stacking. "Encadear modelos fracos para reduzir erros" é boosting.
---
Adaptar Modelos Pré-Treinados: Aprendizado por Transferência e Esquecimento Catastrófico
Em vez de treinar um modelo do zero, o aprendizado por transferência (ajuste fino) continua treinando, com o conjunto de dados menor da sua empresa, um modelo que já aprendeu com um conjunto grande. Você obtém alta precisão com menos dados e tempo.
O pr