Benchmark que avalia a capacidade de modelos de IA resolverem issues reais de repositórios open-source, medindo capacidade prática de engenharia de software.
Explicação detalhada
O SWE-Bench é um dos benchmarks mais influentes para avaliar agentes de codificação. Ele submete modelos a issues reais de repositórios open-source e mede se o modelo consegue produzir um patch que resolve o problema. A OpenAI conduziu uma auditoria do SWE-Bench Pro e encontrou cerca de 30% das tarefas quebradas ou mal definidas, levantando dúvidas sobre a confiabilidade de rankings públicos de capacidade de coding. Para product managers que avaliam modelos de IA para tarefas de engenharia, o SWE-Bench é um sinal direcional útil, mas deve ser complementado com avaliação em dados reais do próprio produto. Não confie cegamente em rankings de "capacidade" ao escolher modelo.