Segunda-feira com um tema só puxando o resto: custo. Preço de modelo, modelo aberto na empresa e até a velocidade de inferência entram na mesma conversa.

Toda vez que alguém me pergunta quanto vai custar uma feature de IA, eu sei que a resposta que dei no mês passado já está velha. O guia de custo de agentes de IA ajuda a manter essa conta atualizada.

Li um levantamento do Max Woolf sobre os cortes de preço de OpenAI e Anthropic entre junho e setembro. O GPT-5.6 Luna caiu cerca de 80% em julho, e a família GPT-6.1 saiu perto de 75% mais barata que a GPT-5.6. A Anthropic também baixou o preço do cache e lançou o Opus 5.5 com custo menor que o do Opus 5.

O detalhe que mais me chamou atenção está no cache. Em uso agêntico de código, as leituras de cache respondem por 96% a 99% do gasto de tokens. Por isso, cortar o preço do cache em 75% derruba a conta quase na mesma proporção.

Vale lembrar que as explicações para esses cortes, como concorrência com modelos abertos e ganho de eficiência, são hipóteses do autor. Ele mesmo diz que não dá para saber as margens de verdade. Também aparece nos dados da Vercel que o custo por token caiu, mas o gasto total subiu, porque o uso cresceu.

O que muda para quem faz produto

Do lado de produto, eu tiraria duas lições. A primeira é parar de planejar com um preço por token fixo. O que importa é o custo por tarefa concluída, e nele o desenho do cache pesa mais do que parece. O template de orçamento e custo por tarefa serve de ponto de partida. A segunda é que preço baixo não significa orçamento menor. Quando fica barato, o time usa mais, e o roadmap precisa prever esse efeito.

Sou otimista com isso. Quanto menor o custo de cada chamada, mais casos de uso passam a caber em um produto, e quem mede bem aproveita primeiro. Para medir bem, o guia de avaliação de agentes de IA mostra como estruturar a avaliação.

Para quem ficou curioso e quer ver a linha do tempo completa dos preços, deixo a leitura aqui.

O resto do radar

  • CEO da IBM sobre modelos abertos on-prem — para tarefas corporativas comuns, modelos abertos custariam de 10% a 25% do token de fronteira com cerca de 90% da eficácia, segundo o CEO, e o gargalo passa a ser operar a infraestrutura. The Register.
  • O estado da engenharia de contexto — a qualidade de um agente depende do contexto tanto quanto do modelo, e melhorá-lo costuma ser o caminho mais barato. dbreunig.
  • JetBrains Thinkrail — IDE aberta com agentes em paralelo, cada um em seu branch, e specs como fonte de verdade; referência para testar fluxo spec-first, ainda na versão 0.1.2. GitHub.
  • Cerebras e modelos de trilhões de parâmetros — a empresa fala em 1.000 a 2.000+ tokens por segundo, o que abriria experiências em tempo real com modelos grandes, mas sem preço divulgado. Cerebras.

Por hoje é isso. Amanhã tem mais.