Domingo de ritmo mais leve, mas com um caso brasileiro que merece atenção de quem constrói produto com IA. O resto do radar traz segurança de chat, custo de agentes e orquestração.

Todo produto que lê documento de terceiro tem um problema que quase ninguém coloca no roadmap: alguém vai tentar enganar a IA.

Um caso real saiu agora no Brasil. Na 3ª Vara do Trabalho de Parauapebas, no Pará, duas bancas de advogados apresentaram uma petição com uma instrução escondida em fonte branca sobre fundo branco. O texto mandava qualquer IA que lesse o documento responder de forma superficial e não contestar os anexos.

Quem leu a petição só viu o problema porque o sistema do próprio tribunal, o Galileu, emitiu um alerta e bloqueou o processamento do conteúdo suspeito. O juízo entendeu que a intenção era manipular a IA, da parte contrária ou do tribunal, e aplicou censura e multa de 10% do valor da causa, que era de R$ 842 mil.

Para quem atua em produto, eu tiro duas coisas daqui. A primeira é que defesa contra prompt injection precisa nascer junto com a feature, não depois. Se o seu produto resume, classifica ou decide a partir de arquivos que o usuário ou terceiros enviam, esse arquivo é entrada não confiável, ponto. A matriz de risco de IA ajuda a decidir quanto controle cada fluxo desses precisa.

A segunda é que a conversa deixou de ser só técnica. Existe agora um precedente, segundo o artigo, talvez o primeiro do mundo, tratando a manipulação de IA como violação de boa-fé processual. Isso muda o que vale a pena registrar em log, avisar e documentar no produto, e entra na governança de IA da sua empresa.

Um detalhe de transparência: o texto que li foi publicado em julho e cita a reportagem do G1 de maio, e a data exata da decisão não aparece nele. Mesmo assim, o caso segue sendo uma boa lição prática de desenho de produto.

Para quem ficou curioso e quer ver o caso completo, deixo o link aqui.

O resto do radar

  • Falha em links de compartilhamento do ChatGPT — recurso de compartilhar conteúdo de IA é superfície de ataque; a OpenAI corrigiu em 26/10 e classificou como P1. Tenha um plano de resposta a incidente para esse tipo de falha. Parameter.
  • Custo em tokens por framework — se agentes escrevem o código, escolher framework vira decisão de custo; a mediana foi de 3,85 mi de tokens (Nuxt) a 9,76 mi (Angular). Mais sobre custo de agentes de IA. Nolan Lawson.
  • Memdoor — cinco modelos pequenos em equipe, com verificação por script, fizeram 9,8 de 10 no LiveCodeBench Hard por cerca de US$ 0,39 a execução (amostra pequena). GitHub.

Fico por aqui. Amanhã tem mais.