O mesmo modelo pode ter custo, latência e vazão muito diferentes dependendo de como é chamado. No AIP-C01, o domínio 4 (12%) e as habilidades de implantação do domínio 2 perguntam repetidamente qual opção de inferência atende a cada requisito.
Opções de inferência do Bedrock
| Opção | Use quando | Atenção | |-------|------------|---------| | Sob demanda | O tráfego é imprevisível | Cotas de solicitações e tokens por minuto | | Provisioned Throughput | Há volume alto e estável | Não funciona com inference profiles | | Inferência em lote | Não há necessidade de tempo real (preço cerca de 50% menor) | Sem chamadas de ferramentas nem prompt caching | | Inferência entre regiões | Há throttling nos horários de pico | As solicitações são processadas em outras regiões | | Intelligent Prompt Routing | Perguntas fáceis e difíceis se misturam | Dois modelos da mesma família, otimizado para inglês | | Prompt caching | Um prompt longo e fixo se repete | Qualquer mudança no prefixo é um cache miss |
Throttling e cotas
Diante de : novas tentativas com backoff exponencial e jitter, uma fila SQS com concorrência reservada do Lambda, planos de uso do API Gateway por cliente, inferência entre regiões e, se o excesso for constante, aumento de cota ou Provisioned Throughput.
Lotes e perfis de inferência
A inferência em lote usa arquivos JSONL no S3 e ; o EventBridge avisa quando o trabalho termina. Os perfis geográficos (, , ) mantêm o processamento dentro dessa área; o perfil global () custa cerca de 10% menos, mas pode usar qualquer região comercial.
!Qual opção de inferência do Bedrock usar?
Prompt caching vs cache semântico
O prompt caching do Bedrock reutiliza o processamento de um prefixo idêntico (ferramentas, prompt do sistema, documentos), mas o modelo continua sendo chamado. O cache semântico, que você implementa com embeddings e busca vetorial (MemoryDB ou OpenSearch), devolve uma resposta salva quando a pergunta é parecida e evita a chamada ao modelo.
Pontos-chave para o exame
"Grande volume sem tempo real" -- Inferência em lote do Bedrock "Throttling nos horários de pico" -- Inferência entre regiões "Processar dados só dentro de uma área geográfica" -- Perfil de inferência geográfico "Separar custos por equipe" -- Application inference profile com tags "Absorver picos de solicitações" -- SQS + concorrência reservada do Lambda "Perguntas fáceis para o modelo menor" -- Intelligent Prompt Routing "Trocar de modelo sem implantar código" -- AWS AppConfig "Prompt longo e fixo em toda chamada" -- Prompt caching "Perguntas parecidas que se repetem" -- Cache semântico