Conjunto de técnicas e datasets para avaliar a qualidade, segurança e capacidade de modelos de IA em tarefas específicas.
Explicação detalhada
Evals (avaliações) são o processo de medir quão bem um modelo de IA performa em um conjunto de tarefas. Existem evals públicos (como SWE-Bench, MMLU, HumanEval) e evals customizadas construídas para um produto específico. O problema dos evals públicos é que podem ser contaminados por dados de treino, ter tarefas mal definidas ou não refletir o caso de uso real. A OpenAI separou sinal de ruído em evals de coding e encontrou 30% das tarefas quebradas. A recomendação para product managers: construa seu próprio dataset de avaliação com casos reais do produto, meça acurácia na sua tarefa específica, monitore regressões em produção e use benchmarks públicos apenas como referência direcional.