Uma aplicação GenAI que funciona não é necessariamente uma aplicação confiável. O domínio 5 do AIP-C01 (11%) pede mais do que ROUGE e BLEU: avaliação de RAG, LLM-as-a-judge, avaliação de agentes e um método claro para descobrir de onde vem uma resposta ruim.
Amazon Bedrock Evaluations
| Tipo de avaliação | Métricas representativas | |-------------------|--------------------------| | Modelo, automática | Accuracy, Robustness, Toxicity | | Modelo, LLM-as-a-judge | Correctness, Completeness, Faithfulness, Helpfulness, métricas personalizadas | | RAG, só recuperação | Context relevance, Context coverage | | RAG, recuperação e geração | Faithfulness, Citation precision, Citation coverage, entre outras |
Faithfulness indica se a resposta inventa informações que não estão no contexto. Context coverage exige uma resposta de referência (ground truth). Também é possível avaliar sistemas RAG externos trazendo suas próprias respostas.
Problema de recuperação ou de geração?
Primeiro verifique o que o modelo recebeu com a API ou com as citações do . Se a informação estiver faltando, ajuste o chunking, os filtros de metadados, a busca híbrida e o reranking, e gere todos os embeddings de novo se trocou o modelo de embeddings. Se a informação estiver lá mas a resposta estiver errada, peça respostas baseadas apenas nos documentos, reduza o contexto excessivo e use o contextual grounding check do Guardrails.
!Problema de recuperação ou de geração?
Avaliação de agentes e controle de qualidade
Meça a taxa de tarefas concluídas e a precisão na escolha de ferramentas comparando cenários de teste com o trace (). Antes de cada implantação, rode um golden dataset como portão de qualidade no CodePipeline e, depois, use testes canary ou A/B com possibilidade de reverter.
Pontos-chave para o exame
"A resposta inventa conteúdo fora dos documentos?" -- Faithfulness "Os trechos recuperados são relevantes?" -- Context relevance "O que foi recuperado cobre tudo o que é necessário?" -- Context coverage (exige ground truth) "Pontuação semântica em grande escala" -- LLM-as-a-judge no Bedrock Evaluations "Avaliar um sistema RAG externo" -- Trazer suas próprias respostas de inferência "Busca pior após trocar o modelo de embeddings" -- Gerar todos os embeddings de novo "O agente chama a ferramenta errada" -- Verificar o trace e melhorar as descrições "Evitar regressões após mudar prompts" -- Golden dataset + portão de qualidade no CI/CD