Segurança de IA

O caso GitLost mostrou agentes do GitHub vazando repositórios privados ao processar conteúdo malicioso. O Claude Code teve possível vazamento de sessão entre contas. Modelos podem inventar campos ao chamar ferramentas. O risco principal é tratar o output do agente como confiável sem validação de segurança.

Isole o ambiente de execução do agente. Valide todo output antes de executar ações. Não permita que o agente acesse recursos além do escopo necessário. Implemente sandboxing para operações de arquivo e rede. Monitore runtime com evidência auditável (como o Halo). E nunca confie cegamente no output do modelo.