El mismo modelo puede tener un costo, una latencia y un rendimiento muy distintos según cómo se invoque. En AIP-C01, el dominio 4 (12%) y las habilidades de despliegue del dominio 2 preguntan una y otra vez qué opción de inferencia encaja con cada requisito.
Opciones de inferencia de Bedrock
| Opción | Úsela cuando | Tenga en cuenta | |--------|--------------|-----------------| | Bajo demanda | El tráfico es impredecible | Cuotas de solicitudes y tokens por minuto | | Provisioned Throughput | Hay volumen alto y estable | No funciona con inference profiles | | Inferencia por lotes | No se necesita respuesta en tiempo real (precio cerca de un 50% menor) | Sin llamadas a herramientas ni prompt caching | | Inferencia entre regiones | Hay throttling en horas pico | Las solicitudes se procesan en otras regiones | | Intelligent Prompt Routing | Se mezclan preguntas fáciles y difíciles | Dos modelos de la misma familia, optimizado para inglés | | Prompt caching | Se repite un prompt largo y fijo | Cualquier cambio en el prefijo es un fallo de caché |
Throttling y cuotas
Ante : reintentos con backoff exponencial y jitter, una cola SQS con concurrencia reservada de Lambda, planes de uso de API Gateway por cliente, inferencia entre regiones y, si el exceso es constante, aumento de cuota o Provisioned Throughput.
Lotes y perfiles de inferencia
La inferencia por lotes usa archivos JSONL en S3 y ; EventBridge avisa cuando termina el trabajo. Los perfiles geográficos (, , ) mantienen el procesamiento dentro de esa zona; el perfil global () cuesta cerca de un 10% menos, pero puede usar cualquier región comercial.
!¿Qué opción de inferencia de Bedrock encaja?
Prompt caching vs caché semántica
El prompt caching de Bedrock reutiliza el procesamiento de un prefijo idéntico (herramientas, prompt del sistema, documentos), pero el modelo se sigue invocando. La caché semántica, que usted implementa con embeddings y una búsqueda vectorial (MemoryDB u OpenSearch), devuelve una respuesta guardada cuando la pregunta es parecida y evita la llamada al modelo.
Puntos clave para el examen
"Gran volumen sin tiempo real" -- Inferencia por lotes de Bedrock "Throttling en horas pico" -- Inferencia entre regiones "Procesar datos solo dentro de una zona geográfica" -- Perfil de inferencia geográfico "Separar costos por equipo" -- Application inference profile con etiquetas "Absorber picos de solicitudes" -- SQS + concurrencia reservada de Lambda "Preguntas fáciles al modelo pequeño" -- Intelligent Prompt Routing "Cambiar de modelo sin desplegar código" -- AWS AppConfig "Prompt largo y fijo en cada llamada" -- Prompt caching "Preguntas parecidas que se repiten" -- Caché semántica