Processo de usar um modelo treinado para gerar saídas a partir de novas entradas. É a fase que consome recursos computacionais em produção e define o custo operacional.
Explicação detalhada
Inferência é a fase onde um modelo de IA já treinado processa novas entradas e gera saídas. Diferente do treino (que acontece uma vez), a inferência acontece a cada chamada em produção, e é o que define o custo operacional de um produto de IA. O custo de inferência depende de três fatores: tamanho do modelo, volume de tokens processados (input + output) e preço do provedor. A ZML lançou LLMD, uma ferramenta de inferência multi-chip gratuita que reduz o lock-in de hardware. Para product managers, otimizar inferência — escolhendo o modelo certo, reduzindo contexto e roteando inteligentemente — é a alavanca principal de FinOps de IA.
Como usar na decisão de produto
Gerencie inferência como uma cadeia de serviço, não apenas uma tarifa por milhão de tokens. Inclua fila, cache, rede, ferramentas, retries e revisão humana na latência e no custo percebidos pelo usuário. Defina SLO por caso de uso e roteie tarefas simples para modelos menores quando a avaliação permitir. Monitore tokens, tempo até primeiro token, duração total, erro e custo por tarefa concluída. A melhor otimização é a que preserva qualidade e previsibilidade, especialmente nos picos e nos casos longos.