Se você ouvir "este modelo tem 99% de acurácia" e concluir que é um bom modelo, o MLA-C01 vai pegar você numa armadilha. A tarefa 2.3 do guia do exame cobre métricas de avaliação como matriz de confusão, mapas de calor, F1, acurácia, precisão, revocação (recall), RMSE, ROC e AUC, além de criar linhas de base de desempenho e identificar overfitting, e a tarefa 1.3 pergunta sobre métricas de viés pré-treinamento como o desbalanceamento de classes (CI) e a diferença nas proporções de rótulos (DPL), estratégias contra o desbalanceamento como dados sintéticos e reamostragem, e a divisão e o embaralhamento do conjunto de dados. No nosso banco de questões, situações desbalanceadas como "dados em que só 0,5% das transações são fraude" aparecem repetidamente.
Este artigo começa pela matriz de confusão e depois cobre a escolha de métricas de classificação, o ajuste do limiar, as métricas de regressão, os modelos de linha de base, o tratamento do desbalanceamento de classes e as métricas de viés do SageMaker Clarify. O diagnóstico de overfitting e a regularização foram tratados antes em Fundamentos de ML para Engenheiros de Nuvem.
---
Comece pela Matriz de Confusão: o Que Significam as Quatro Células
Pense em um alarme de incêndio. Se toca quando há fogo, ele detectou; se toca sem fogo, é um alarme falso; e se fica em silêncio durante um incêndio, é a falha mais perigosa. Todas as métricas de um modelo de classificação vêm desses quatro casos.
| Aspecto | Realmente positivo (há fogo) | Realmente negativo (não há fogo) | |------|------|------| | Previsto positivo (alarme toca) | TP verdadeiro positivo | FP falso positivo (alarme falso) | | Previsto negativo (alarme não toca) | FN falso negativo (falha) | TN verdadeiro negativo |
Saber o que custa mais, FP ou FN, é o ponto de partida para escolher uma métrica. Em algumas situações mandar um e-mail legítimo para o spam (FP) é caro, e em outras o caro é deixar passar uma fraude real (FN).
!Como precisão, revocação, acurácia e F1 são calculados a partir das quatro células da matriz de confusão: TP, FP, FN e TN
---
Métricas de Classificação: Escolha Conforme a Situação
| Métrica | Cálculo | Significado | Quando importa | |------|------|------|------| | Acurácia | (TP + TN) ÷ total | Proporção de acertos sobre o total | Só faz sentido com classes balanceadas | | Precisão | TP ÷ (TP + FP) | Do que foi previsto como positivo, quanto é positivo de verdade | Quando o FP é caro (filtros de spam, escolha de público de marketing) | | Revocação (recall, sensibilidade) | TP ÷ (TP + FN) | Dos positivos reais, quantos foram encontrados | Quando o FN é caro (diagnóstico de câncer, detecção de fraude) | | Especificidade | TN ÷ (TN + FP) | Proporção de negativos reais previstos como negativos | Quando importa deixar os casos normais em paz | | Pontuação F1 | Média harmônica de precisão e revocação | O equilíbrio entre as duas | Quando as duas importam com dados desbalanceados | | ROC AUC | Área sob a curva da taxa de verdadeiros positivos contra a de falsos positivos em todos os limiares | 0,5 é aleatório, quanto mais perto de 1 melhor | Comparar modelos sem depender do limiar | | PR AUC | Área sob a curva de precisão-revocação | Mostra melhor as diferenças que a ROC quando os positivos são muito raros | Desbalanceamento extremo |
Com números, a armadilha da acurácia fica evidente. Se 10 de 1.000 transações são fraude e o modelo responde "legítima" para todas, a acurácia é de 99%, mas a revocação é de 0%. O modelo não pegou nenhuma fraude.
Dica: "Nenhum caso de uma doença rara pode passar despercebido" é revocação, "bloquear transações legítimas como fraude gera muitas reclamações" é precisão, "as duas importam com dados desbalanceados" é F1, e "comparar vários modelos sem depender do limiar" é AUC.
---
Ajustar o Limiar: Mesmo Modelo, Resultados Diferentes
A maioria dos modelos de classificação devolve uma probabilidade e prevê positivo quando ela passa de um limiar (normalmente 0,5). Mudar o limiar muda os resultados sem retreinar.
| Limiar | Revocação | Precisão | Quando usar | |------|------|------|------| | Mais baixo (por exemplo, 0,5 → 0,3) | Sobe | Cai | Detecção de fraude ou doenças em que falhas não são aceitáveis | | Mais alto (por exemplo, 0,5 → 0,8) | Cai | Sobe | Bloqueio automático em que é preciso reduzir alarmes falsos |
A curva ROC é desenhada movendo o limiar de 0 a 1, então cada ponto da curva é um limiar.
Avaliar Modelos Multiclasse
Com três classes ou mais, calculam-se precisão e revocação por classe e depois tira-se a média. A média macro dá o mesmo peso a cada classe, então as classes pequenas contam igual, enquanto a média ponderada pesa cada classe pelo número de amostras. Um mapa de calor que colore a matriz de confusão mostra de relance quais classes se confundem entre si.
Dica: "Pegar mais fraudes sem retreinar o modelo" se resolve baixando o limiar.
---
Métricas de Regressão
Os modelos de regressão, que preveem números, são avaliados pelo tamanho dos erros.
| Métrica | Significado | Características | |------|------|------| | RMSE | Raiz quadrada da média dos erros ao quadrado | Penaliza mais os erros grandes; use quando for preciso evitá-los em especial | | MAE | Média dos erros absolutos | Menos sensível a outliers, fácil de interpretar ("erra quantos reais em média") | | MAPE | Erro médio como porcentagem do valor real | Compara previsões em unidades diferentes; instável com valores reais próximos de 0 | | R² | Proporção da variância explicada pelo modelo | Quanto mais perto de 1, melhor |
Dica: "Um erro grande ocasional é especialmente prejudicial" é RMSE, e "há muitos outliers e queremos uma visão estável do erro médio" é MAE.
---
Modelos de Linha de Base e Comparação em Sombra
Para julgar se um modelo complexo é bom, é preciso algo com que compará-lo. A linha de base é o desempenho da abordagem mais simples possível.
Classificação: um modelo que sempre prevê a classe majoritária, ou um modelo simples como regressão logística ou Linear Learner Regressão: um modelo que sempre prevê a média, ou uma regressão linear Dados tabulares: XGBoost com a configuração padrão como linha de base exigente
A linha de base de desempenho do modelo é diferente da linha de base que o Model Monitor cria a partir dos dados de treinamento (estatísticas e restrições). A primeira responde "este modelo serve?", e a segunda "os dados de produção se afastaram dos de treinamento?".
Se um modelo novo também é melhor com tráfego real, isso se verifica com testes em sombra. As mesmas solicitações enviadas à variante de produção vão também para o modelo novo (a variante sombra), mas os usuários recebem só as respostas do modelo de produção enquanto as métricas dos dois são comparadas.
Dica: "Avaliar um modelo novo com tráfego real sem afetar os usuários" é teste em sombra. "Enviar de fato parte do tráfego ao modelo novo e comparar resultados" é teste A/B (pesos das variantes de produção).
---
Tratar o Desbalanceamento de Classes
| Técnica | Como funciona | O que observar | |------|------|------| | Divisão estratificada | Mantém a mesma proporção de classes em treinamento, validação e teste | O básico para dividir dados desbalanceados | | Sobreamostragem | Duplica amostras da classe minoritária | Risco de overfitting por amostras repetidas | | SMOTE | Cria novas amostras sintéticas entre amostras da classe minoritária | Aplicar só aos dados de treinamento, nunca à validação ou ao teste | | Subamostragem | Reduz as amostras da classe majoritária | Perda de informação | | Pesos de classe | Penaliza mais os erros na classe minoritária | Os dados não mudam; no XGBoost, scale_pos_weight = número de negativos ÷ número de positivos | | Aumento e dados sintéticos | Girar imagens, reescrever frases, gerar amostras com modelos generativos | Eficaz com dados de imagem e texto | | Trocar a métrica | Revocação, F1 ou PR AUC em vez de acurácia | A acurácia engana com desbalanceamento |
O SageMaker Data Wrangler tem uma transformação de balanceamento que iguala os dados com sobreamostragem aleatória, subamostragem aleatória ou SMOTE. A ordem também importa. Divida primeiro os dados e aplique a reamostragem só ao conjunto de treinamento. Se você aplicar o SMOTE antes de dividir, as amostras sintéticas vazam para o conjunto de validação e o desempenho parece melhor do que realmente é.
Dica: As respostas candidatas para "a fraude é 0,5% das transações e o modelo quase não a detecta" são SMOTE, pesos de classe (scale_pos_weight) e avaliar com revocação e F1. "A acurácia é de 99%, então implante" está errada.
---
Medir o Viés em Dados e Modelos: Métricas do Clarify
O desbalanceamento de classes trata da proporção de rótulos (respostas), enquanto o viés trata de um grupo específico (uma faceta como gênero ou faixa etária) receber tratamento desfavorável. O SageMaker Clarify calcula métricas de viés antes e depois do treinamento.
| Quando | Métrica típica | Significado | |------|------|------| | Antes do treinamento (dados) | CI, desbalanceamento de classes | Diferença no número de amostras entre grupos (por exemplo, a maioria dos dados é de pessoas de meia-idade) | | Antes do treinamento (dados) | DPL, diferença nas proporções de rótulos | Diferença na proporção de rótulos positivos entre grupos (por exemplo, a taxa de aprovação de empréstimos varia por grupo) | | Depois do treinamento (previsões) | DPPL, diferença nas proporções positivas dos rótulos previstos | Diferença na frequência com que o modelo prevê positivo para cada grupo | | Depois do treinamento (previsões) | DI, impacto desigual | Razão entre as taxas de previsão positiva dos grupos |
Outras métricas pré-treinamento são KL, JS, LP, TVD, KS e CDD, e para explicar o modelo usam-se os valores SHAP. Entre as fontes de viés nos dados estão amostras que não representam a população (viés de seleção) e valores medidos de forma diferente conforme o grupo (viés