Processo de usar um modelo treinado para gerar saídas a partir de novas entradas. É a fase que consome recursos computacionais em produção e define o custo operacional.
Explicação detalhada
Inferência é a fase onde um modelo de IA já treinado processa novas entradas e gera saídas. Diferente do treino (que acontece uma vez), a inferência acontece a cada chamada em produção, e é o que define o custo operacional de um produto de IA. O custo de inferência depende de três fatores: tamanho do modelo, volume de tokens processados (input + output) e preço do provedor. A ZML lançou LLMD, uma ferramenta de inferência multi-chip gratuita que reduz o lock-in de hardware. Para product managers, otimizar inferência — escolhendo o modelo certo, reduzindo contexto e roteando inteligentemente — é a alavanca principal de FinOps de IA.