Que una aplicación GenAI funcione no significa que se pueda confiar en ella. El dominio 5 de AIP-C01 (11%) pide ir más allá de ROUGE y BLEU: evaluación de RAG, LLM-as-a-judge, evaluación de agentes y un método claro para saber de dónde viene una mala respuesta.
Amazon Bedrock Evaluations
| Tipo de evaluación | Métricas representativas | |--------------------|--------------------------| | Modelo, automática | Accuracy, Robustness, Toxicity | | Modelo, LLM-as-a-judge | Correctness, Completeness, Faithfulness, Helpfulness, métricas personalizadas | | RAG, solo recuperación | Context relevance, Context coverage | | RAG, recuperación y generación | Faithfulness, Citation precision, Citation coverage, entre otras |
Faithfulness indica si la respuesta inventa información que no está en el contexto. Context coverage requiere una respuesta de referencia (ground truth). También puede evaluar sistemas RAG externos aportando sus propias respuestas.
¿Problema de recuperación o de generación?
Primero revise qué recibió el modelo con la API o las citas de . Si falta la información, ajuste el chunking, los filtros de metadatos, la búsqueda híbrida y el reranking, y vuelva a generar todos los embeddings si cambió de modelo de embeddings. Si la información está pero la respuesta es incorrecta, pida respuestas basadas solo en los documentos, reduzca el contexto excesivo y use el contextual grounding check de Guardrails.
!¿Problema de recuperación o de generación?
Evaluación de agentes y control de calidad
Mida la tasa de tareas completadas y la precisión al elegir herramientas comparando escenarios de prueba con la traza (). Antes de cada despliegue, ejecute un golden dataset como compuerta de calidad en CodePipeline, y después use pruebas canary o A/B con posibilidad de volver atrás.
Puntos clave para el examen
"¿La respuesta inventa contenido ajeno a los documentos?" -- Faithfulness "¿Los fragmentos recuperados son relevantes?" -- Context relevance "¿Lo recuperado cubre todo lo necesario?" -- Context coverage (requiere ground truth) "Calificación semántica a gran escala" -- LLM-as-a-judge en Bedrock Evaluations "Evaluar un sistema RAG externo" -- Aportar sus propias respuestas de inferencia "Calidad de búsqueda peor tras cambiar el modelo de embeddings" -- Volver a generar todos los embeddings "El agente llama a la herramienta equivocada" -- Revisar la traza y mejorar las descripciones "Evitar regresiones tras cambiar prompts" -- Golden dataset + compuerta de calidad en CI/CD