Técnica de treinar um modelo menor a partir das saídas de um modelo maior, preservando a capacidade para uma tarefa específica a uma fração do custo de inferência.
Explicação detalhada
A destilação de modelos (model distillation) é uma técnica onde um modelo menor ("student") é treinado para imitar as saídas de um modelo maior e mais capaz ("teacher"). O resultado é um modelo que performa de forma comparável ao modelo maior em uma tarefa específica, mas a uma fração do custo de inferência. A Shopify demonstrou isso em produção: seu pipeline de destilação cortou o custo de IA em até 30x, e em vários casos o modelo menor performou igual ou melhor que o modelo grande genérico. O princípio é que modelos grandes são excelentes para tarefas generalistas, mas quando a tarefa é específica e bem definida, um modelo destilado para aquele domínio é mais eficiente em custo, latência e até qualidade. Para PMs, a destilação é uma das alavancas mais poderosas de FinOps de IA.
Como usar na decisão de produto
Use destilação quando a tarefa é estável, repetitiva e possui exemplos de qualidade suficientes. Antes de trocar o modelo geral por um menor, crie um conjunto de avaliação com casos comuns, cauda e falhas caras. Compare qualidade, latência, custo e manutenção, não apenas acurácia média. Mantenha rota de fallback para o modelo maior e monitore mudança de distribuição. O ganho só é real quando o modelo destilado preserva o resultado que o usuário percebe e reduz o custo total de operação.