AIP-C01: RAG vs fine-tuning vs engenharia de prompts

Fundamentos do exame AIP-C01: como escolher entre prompts, RAG e fine-tuning, quando o fine-tuning é a resposta errada, destilação, Custom Model Import, adaptadores LoRA e SageMaker Model Registry.

"O modelo não conhece o nosso negócio" pode ser resolvido com engenharia de prompts, RAG, fine-tuning ou pré-treinamento contínuo. No AIP-C01 o fine-tuning aparece muito nas alternativas, mas quase sempre como distrator: o exame espera que você tente primeiro as opções mais leves.

Comece pela opção mais leve

| Requisito | Escolha | |-----------|---------| | Mudar formato ou tom com poucos exemplos | Engenharia de prompts (few-shot) | | Responder com documentos que mudam com frequência e citar fontes | RAG (Bedrock Knowledge Bases) | | Formato e qualidade constantes em uma tarefa, milhares de exemplos | Fine-tuning | | Aprender a linguagem de um domínio com um grande corpus sem rótulos | Pré-treinamento contínuo | | Qualidade de modelo grande ao custo de um pequeno | Destilação | | Servir no Bedrock um modelo aberto treinado fora | Custom Model Import |

Separe conhecimento de comportamento: fatos que o modelo não conhece pedem RAG; mudar como ele se comporta pede fine-tuning.

!Espectro de personalização: comece pela esquerda

Quando o fine-tuning é a resposta errada

Os dados mudam todo dia: não dá para retreinar com essa frequência. É preciso mostrar as fontes: os pesos não citam documentos. Cada usuário só pode ver certos documentos: use RAG com filtros de metadados. Há apenas algumas dezenas de exemplos rotulados: comece com few-shot.

 

Implantação e ciclo de vida

Com LoRA, pequenos adaptadores são treinados sobre um modelo base congelado, e um endpoint do SageMaker AI pode servir muitos adaptadores. O SageMaker Model Registry gerencia versões e aprovações, e implantações blue/green revertem automaticamente com alarmes do CloudWatch.

 

Pontos-chave para o exame

"Informação que muda, com citações" -- RAG "Conhecimento diferente conforme permissões do usuário" -- RAG + filtros de metadados "Mesmo formato de saída ou tom da marca" -- Fine-tuning supervisionado "Treinar com pontuações de qualidade" -- Reinforcement fine-tuning "Qualidade de modelo grande a custo baixo" -- Destilação "Modelo aberto externo no Bedrock" -- Custom Model Import "Muitas variantes de domínio sobre um modelo base" -- Adaptadores LoRA "Ao trocar o modelo de embeddings" -- Gerar e indexar de novo todos os documentos

Voltar à lista do blog