Técnica que combina recuperação de informação com geração de texto, permitindo que LLMs usem conhecimento externo sem retreinar o modelo.
Explicação detalhada
RAG (Retrieval-Augmented Generation) é uma arquitetura onde, antes de gerar uma resposta, o sistema recupera documentos relevantes de uma base de conhecimento e os inclui no contexto do prompt. Isso permite que o modelo use informação atualizada e específica do domínio sem precisar de retreino. O desafio de RAG em produção é o custo: cada documento recuperado adiciona tokens ao contexto. A Kapa.ai demonstrou uma técnica para cortar 68% do contexto de RAG mantendo 96% do recall, mostrando que otimização de RAG é tanto uma questão de qualidade quanto de FinOps. Para product managers, RAG é frequentemente a arquitetura de escolha para produtos de IA que precisam responder com base em dados proprietários ou atualizados.