Técnica de treinar um modelo menor a partir das saídas de um modelo maior, preservando a capacidade para uma tarefa específica a uma fração do custo de inferência.
Explicação detalhada
A destilação de modelos (model distillation) é uma técnica onde um modelo menor ("student") é treinado para imitar as saídas de um modelo maior e mais capaz ("teacher"). O resultado é um modelo que performa de forma comparável ao modelo maior em uma tarefa específica, mas a uma fração do custo de inferência. A Shopify demonstrou isso em produção: seu pipeline de destilação cortou o custo de IA em até 30x, e em vários casos o modelo menor performou igual ou melhor que o modelo grande genérico. O princípio é que modelos grandes são excelentes para tarefas generalistas, mas quando a tarefa é específica e bem definida, um modelo destilado para aquele domínio é mais eficiente em custo, latência e até qualidade. Para PMs, a destilação é uma das alavancas mais poderosas de FinOps de IA.