Quarta-feira com benchmark novo, um contrato público com desconto e vários textos sobre quem responde pelo que os agentes escrevem.

Todo PM que já defendeu a escolha de um modelo numa reunião conhece a pergunta: qual é o melhor? Ontem saiu um benchmark que me fez achar que ela está mal formulada.

A Artificial Analysis lançou a versão 5 do seu Intelligence Index. Cerca de 60% dos testes agora são privados, para dificultar que modelos sejam ajustados para o placar. O Claude Opus 5.5 lidera com 58 pontos, e o GPT-6 Astra vem logo atrás com 57. Nenhum modelo ganha nas nove avaliações.

A conta por tarefa

O que mais chamou minha atenção foi o custo. Em média, cada tarefa do índice custa US$ 10,04 com o Opus 5.5 no máximo de esforço. O GPT-6.1 Sol fica 4 pontos abaixo, por US$ 1,27. É mais ou menos um oitavo do preço.

E tem o esforço de raciocínio. O mesmo Opus 5.5 faz 35 pontos no esforço baixo, a US$ 0,98, e 58 no máximo. Ou seja, o modelo é uma decisão, mas a configuração dele é outra, e muda a conta.

O que muda para o produto

Do lado de produto, isso muda a pergunta. Em vez de procurar o melhor modelo, eu quero saber qual é o mais barato que entrega a qualidade que aquela funcionalidade exige. Tem tarefa que pede o topo, e tem muita que não pede. Medir isso com os nossos casos, e não só com o placar, passa a fazer parte do trabalho de quem cuida do produto. O guia de custo de agentes de IA e o de avaliação de agentes de IA ajudam a estruturar essa medição, dentro da gestão de produtos com IA.

Acho ótimo o mercado estar mostrando custo ao lado de qualidade. Quanto mais transparente o benchmark, mais fácil escolher bem e mais espaço sobra para construir.

Para quem ficou curioso e quer ver o detalhamento completo, deixo a leitura aqui.

O resto do radar

  • Claude na descoberta de fármacos — na Enveda, a revisão de 1.061 páginas caiu 89% (de mais de 25 h para menos de 3 h) e um documento regulatório saiu em 4 horas, em vez de cerca de 3 meses; trabalho ainda inicial e majoritariamente pré-clínico, com dados da própria Anthropic. Anthropic.
  • Anthropic e GSA — 40% de desconto em Claude Enterprise, Claude for Government e API para o governo dos EUA, sem gasto mínimo e com cobrança só por uso; um bom exemplo de pricing no setor público. Anthropic.
  • Genie 4 — o modelo de mundo do Google DeepMind gera ambientes interativos com som e diálogo; ainda é prévia para testadores, sem preço, e a coerência cai em sessões longas. DeepMind.
  • LFM3 — seis modelos de cerca de 2B de parâmetros com pesos abertos; o de texto cabe em cerca de 1 GB em 4 bits, mas os números de velocidade são do fabricante e a licença não está na página. Liquid AI.
  • Here be monsters — quando agentes escrevem o código, quem responde por ele num incidente precisa estar definido e ter o mapa do sistema. Blog.
  • The Mythical Man-Month na era da IA — agentes não eliminam o custo de coordenação: com requisitos vagos, você chega à resposta errada mais rápido. j11g.
  • Limpeza de conteúdo de IA na Wikipedia — cerca de 20% dos artigos novos foram sinalizados no fim de 2025 e 15–16% no início de 2026, com a ressalva de que a queda pode ser limite do detector. IEEE Spectrum.

Amanhã tem mais, e a ideia segue a mesma: separar o que muda a decisão de produto do que só faz barulho.