Disciplina de gerenciar e otimizar o custo de operação de modelos de linguagem em produção, incluindo monitoramento de gastos com tokens, roteamento inteligente e destilação de modelos.
Explicação detalhada
FinOps de IA aplica os princípios de FinOps (gestão financeira de nuvem) ao custo de operar modelos de IA. As principais alavancas são: (1) roteamento inteligente — direcionar requisições para modelos mais baratos quando a tarefa não exige modelo frontier, como faz o Frugon; (2) destilação de modelos — treinar modelos menores a partir de modelos maiores para tarefas específicas, como a Shopify fez para cortar custo em 30x; (3) otimização de contexto — reduzir o número de tokens processados por requisição, como a RidgeText fez ao reduzir de 125 mil para 150 tokens; (4) monitoramento de gastos — rastrear custo por feature, por usuário e por chamada para identificar gargalos de unit economics. Para product managers, FinOps de IA é o que separa um produto de IA viável de um que quebra o orçamento em escala.